[論文レビュー] Deep Convolutional Inverse Graphics Network

Tejas D. Kulkarni, WILLIAM F. WHITNEY+2 more|arXiv (Cornell University)|Mar 11, 2015

Advanced Vision and Imaging参考文献 23被引用数 751

ひとこと要約

本論文では、確率的勾配変分ベイズを用いて訓練される、深層畳み込みおよびデコンボリューション層を備えた変分オートエンコーダである、深層畳み込み逆画像生成ネットワーク（DC-IGN）を提案する。このモデルは、1枚の画像から、ポーズや照明などの要因を分離・解釈可能なグラフィックスコードを学習する。特定の潜在変数を操作することで、顔や椅子の新たな視点の再構成に成功し、最小限の教師信号のもとで未学習の物体や視点へも一般化を示した。

ABSTRACT

This paper presents the Deep Convolution Inverse Graphics Network (DC-IGN), a model that learns an interpretable representation of images. This representation is disentangled with respect to transformations such as out-of-plane rotations and lighting variations. The DC-IGN model is composed of multiple layers of convolution and de-convolution operators and is trained using the Stochastic Gradient Variational Bayes (SGVB) algorithm. We propose a training procedure to encourage neurons in the graphics code layer to represent a specific transformation (e.g. pose or light). Given a single input image, our model can generate new images of the same object with variations in pose and lighting. We present qualitative and quantitative results of the model's efficacy at learning a 3D rendering engine.

研究の動機と目的

• ポーズ、照明、形状などの要因を分離・解釈可能な形で分離する画像の解釈可能な、分離可能な表現を学習すること。
• 特定の潜在変数を操作することで、画像の再構成と新しい視点の合成が可能な深層生成モデルを訓練すること。
• 学習済みの3次元レンダリングエンジンを用いて、1枚の入力画像からゼロショットで新しい視点の生成を可能にすること。
• 教師なしで、グラフィックスコード内のニューロンが特定の意味のある変換を表すようにする訓練手順を開発すること。
• 分離性が、未学習の物体の構成や視点への正確な一般化に不可欠であることを示すこと。

提案手法

• モデルは、畳み込みおよびデコンボリューション層を備えた深層エンコーダ・デコーダアーキテクチャを採用し、確率的勾配変分ベイズ（SGVB）を用いてエンドツーエンドで訓練される変分オートエンコーダとして構築される。
• エンコーダは入力画像を潜在変数の事後分布近似にマップし、デコーダはデコンボリューションとアップサンプリングを用いてこれらの潜在変数から画像を再構成する。
• 主な訓練手順として、各ミニバッチで変換のサブセット（例：アズマス回転）のみを活性化し、特定のニューロンがそのアクティブな変換のみを表すように強制する。
• 目的関数は再構成損失と事後分布と事前分布のKLダイバージェンスを組み合わせており、再パラメータライゼーションにより確率的サンプルを通じたバックプロパゲーションを可能にする。
• 潜在変数は、例えばアズマス用のノード、他のノードは形状、テクスチャ、照明を表すようにグループ化される。
• 推論時、エンコーダは1枚の画像から潜在変数を推論し、デコーダは特定の潜在変数グループを変更することで新しい画像を生成する。

実験結果

リサーチクエスチョン

• RQ1 教師なしで、静的画像から分離可能で解釈可能なグラフィックスコードを学習できるか？
• RQ2 このようなモデルは、訓練時に見なかった新しい視点や物体の配置に一般化できるか？
• RQ3 変換の選択的活性化による分離性の強制は、再構成と生成品質を向上させるか？
• RQ4 学習済みの潜在変数のサブセットのみを操作することで、現実的な新しい視点の画像を合成できるか？
• RQ5 1つの画像で学習した場合、椅子のような複雑な3次元物体に対して、モデルはどの程度の性能を示すか？

主な発見

• 3Dチェアデータセットでは、テストセットの平均二乗誤差（MSE）が2.7722×10⁻⁴に達し、高精度な画像再構成を示した。
• 顔データセットでは、アズマス関連の潜在変数のみを操作することで、新たな視点の生成に成功し、等変性と分離性を示した。
• 非分離的ベースラインとの定性的比較から、明示的な分離性が、正確な新しい視点再構成に不可欠であることが示された。
• 未学習のチェアに対しても一般化でき、物体の完全な幾何が見えない状況でも、妥当な中間ポーズを生成できた。
• 一部のチェアでは、角度にわたる滑らかな遷移を生成したが、他のチェアではキーフレームのような出力しか得られず、複雑または曖昧な形状への一般化に限界があることが示された。
• 1つの視点からも、チェアのアームなど隠れた部分を推論できることから、3次元的推論と妥当な外挿の能力を示している。