[論文レビュー] Weakly-supervised Disentangling with Recurrent Transformations for 3D View Synthesis

Shuicheng Yan, Scott Reed+2 more|arXiv (Cornell University)|Jan 5, 2016

Face recognition and analysis参考文献 30被引用数 275

ひとこと要約

単一の画像から未知の3Dオブジェクトの回転ビューを合成する再帰的畳み込みエンコーダ-デコーダを提示し、アイデンティティとポーズの弱教師付き分離を行う。

ABSTRACT

An important problem for both graphics and vision is to synthesize novel views of a 3D object from a single image. This is particularly challenging due to the partial observability inherent in projecting a 3D object onto the image space, and the ill-posedness of inferring object shape and pose. However, we can train a neural network to address the problem if we restrict our attention to specific object categories (in our case faces and chairs) for which we can gather ample training data. In this paper, we propose a novel recurrent convolutional encoder-decoder network that is trained end-to-end on the task of rendering rotated objects starting from a single image. The recurrent structure allows our model to capture long-term dependencies along a sequence of transformations. We demonstrate the quality of its predictions for human faces on the Multi-PIE dataset and for a dataset of 3D chair models, and also show its ability to disentangle latent factors of variation (e.g., identity and pose) without using full supervision.

研究の動機と目的

• 顔や椅子などの物体カテゴリーに対して、単一の画像から3Dビュー合成を可能にする。
• ポーズ多様体を横断する長期的なポーズ変換を、再帰的アーキテクチャを用いて学習する。
• 回転を予測しながら、明示的な監視なしにアイデンティティとポーズの要因を分離する。
• 新規オブジェクトやクロスビュー認識への適用性を示す。
• アイデンティティとポーズの補間を調査し、新しいオブジェクトの実例を生成する。

提案手法

• 入力画像からアイデンティティとポーズ特徴を抽出するために深い畳み込みエンコーダを用いる。
• 局所的なポーズ変化をモデル化するためにポーズユニットとアクション入力を導入し、再帰的なポーズ予測器を形成する。
• 固定されたアイデンティティユニットと変換されたポーズユニットを用いた再帰的畳み込みエンコーダ-デコーダを適用して回転したビューを生成する。
• 各時間ステップでポーズ多様体に沿って動くための制御信号を提供する。
• 回転ステップのシーケンス長を徐々に増やすカリキュラム学習で訓練する。
• すべてのステップに対してピクセルレベルの再構成損失を最適化し、長期的な予測の一貫性を促す。

実験結果

リサーチクエスチョン

• RQ1 再帰的畳み込みエンコーダ-デコーダは3Dオブジェクトを回転させ、単一の入力画像から新しいビューを描画することを学習できるか？
• RQ2 カリキュラム訓練は長期的なポーズ軌跡の予測と、明示的なラベルなしでアイデンティティとポーズを分離するのに役立つか？
• RQ3 見たことのないオブジェクトの実例（顔・椅子）で、クロスビュー認識の性能はどの程度か？
• RQ4 アイデンティティとポーズを補間して現実味を保ちつつ新規オブジェクトを生成できるか？

主な発見

• 未知の顔と椅子に対して、複数の回転ステップにわたり高品質で滑らかなレンダリングを生成します。
• カリキュラム学習は画像合成品質とポーズ不変性認識性能の両方を向上させる。
• 分離されたアイデンティティとポーズ表現により、クラスラベルなしのクロスビュー認識が可能となり、アイデンティティユニットは強力なビュー不変のアイデンティティ信号を提供する。
• 椅子の補間は、回転ビューを保持しつつ滑らかなスタイル的遷移を示す。
• このアプローチはCNNと比べて競争力のあるクロスビュー認識を達成し、視点差が大きい場合には画像ベースのベースラインを上回る。