[論文レビュー] Learning to Generate Chairs with Convolutional Neural Networks

Alexey Dosovitskiy, Jost Tobias Springenberg+1 more|arXiv (Cornell University)|Nov 21, 2014

Face recognition and analysis被引用数 13

ひとこと要約

本論文では、レンダリングされた3Dチェアモデルのデータセットを用いて教師ありで学習された生成的畳み込みニューラルネットワークを提案する。このモデルは、オブジェクトの種別、視点、色を入力として、新しいチェアの画像を生成する。モデルは意味のある3Dのような表現を学習でき、視点間の補間、トレーニングデータにない新しいチェアスタイルのゼロショット生成、従来手法と比較して向上した対応マッピングを可能にする。

ABSTRACT

We train a generative convolutional neural network which is able to generate images of objects given object type, viewpoint, and color. We train the network in a su-pervised manner on a dataset of rendered 3D chair mod-els. Our experiments show that the network does not merely learn all images by heart, but rather finds a meaningful representation of a 3D chair model allowing it to assess the similarity of different chairs, interpolate between given viewpoints to generate the missing ones, or invent new chair styles by interpolating between chairs from the training set. We show that the network can be used to find correspon-dences between different chairs from the dataset, outper-forming existing approaches on this task. 1.

研究の動機と目的

• 視点や色といった条件入力から、現実的で自然なチェア画像を合成する深層生成モデルの開発。
• トレーニングデータの単なる記憶を超えて、3Dチェアの幾何構造を意味的に分離された表現として学習することで、一般化を可能にする。
• モデルがトレーニングデータにない視点間を補間し、新しいチェアスタイルを生成できる能力を実証すること。
• 従来の手法と比較して、チェア間の対応マッピング性能を評価すること。

提案手法

• 大規模な2Dレンダリング画像のデータセットを用いて、畳み込みニューラルネットワークを教師ありで学習する。
• ネットワークは、オブジェクト種別、視点（方位角、仰角）、色を指定する条件埋め込みを入力とし、それに該当する画像を出力する。
• モデルは、チェアの構造的要因と外観的要因を分離した潜在表現を学習し、視点やスタイルの間で補間を可能にする。
• 特徴のアップサンプリングと高解像度画像の生成のために、デコンボリューション層を活用したアーキテクチャを採用する。
• ピixe単位の再構成損失を用いて、教師データのレンダリング画像との忠実度を保証するように学習を行う。
• モデルの内部表現を分析し、ゼロショット生成や対応マッピングの支援能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 2Dレンダリング画像のデータセットを用いて学習されたCNNは、単なるトレーニングデータの記憶を超えて、意味的な3Dのような表現を学習できるか？
• RQ2 未学習の視点間をどれほど正確に補間し、妥当な中間のチェアビューを生成できるか？
• RQ3 潜在空間上で異なるチェアを補間することで、トレーニングデータにない新しいチェアスタイルを生成できるか？
• RQ4 学習された表現は、従来の手法と比較して、チェア間の対応マッピング性能を向上させるか？

主な発見

• モデルは、人間が自然に受け入れるような現実的で、記憶の単なる再現を超えた生成を可能にし、意味的な3Dのような表現を学習していることが示された。
• モデルは視点間の補間に成功し、トレーニングデータに存在しない一貫性のある中間ビューを生成した。
• 潜在空間上で異なるチェアを補間することで、創造的な一般化を示す、新しいチェアスタイルの生成が可能となった。
• 学習された表現は、従来の最先端手法と比較して、異なるチェア間の対応マッピングをより正確に実現できた。