[論文レビュー] Learning to Generate Chairs, Tables and Cars with Convolutional Networks

Alexey Dosovitskiy, Jost Tobias Springenberg+2 more|arXiv (Cornell University)|Nov 21, 2014

Generative Adversarial Networks and Image Synthesis参考文献 45被引用数 25

ひとこと要約

本論文では、オブジェクトのスタイル、視点、色といったハイレベルな制御から、チェア、テーブル、自動車のリアルな2次元画像を合成する生成的アップコンvolutionニューラルネットワークを提案する。レンダリングされた3次元モデルで訓練されたこのネットワークは、記憶の超え、補間、外挿、および新しいオブジェクトの生成を可能にし、オブジェクト間の対応マッチングの向上も図る。

ABSTRACT

We train generative 'up-convolutional' neural networks which are able to generate images of objects given object style, viewpoint, and color. We train the networks on rendered 3D models of chairs, tables, and cars. Our experiments show that the networks do not merely learn all images by heart, but rather find a meaningful representation of 3D models allowing them to assess the similarity of different models, interpolate between given views to generate the missing ones, extrapolate views, and invent new objects not present in the training set by recombining training instances, or even two different object classes. Moreover, we show that such generative networks can be used to find correspondences between different objects from the dataset, outperforming existing approaches on this task.

研究の動機と目的

• スタイル、視点、色といったハイレベルな制御を用いて、3次元オブジェクトのリアルな2次元画像を合成する生成モデルを開発すること。
• 訓練例の記憶を越えて一般化できるように、ニューラルネットワークを訓練し、補間、外挿、および新しいオブジェクトの生成を可能にすること。
• ネットワークが、異なるオブジェクトクラス間での知識移譲を支援する意味のある3次元表現を学習できるかどうかを評価すること。
• 学習された生成モデルを、既存の手法を上回る性能で、異なるオブジェクト間の対応マッチングという実用的タスクに応用すること。

提案手法

• モデルは、潜在ベクトルとハイレベルな制御（オブジェクトクラス、視点、色）を2次元RGB画像にマップする深層アップコンボリューションニューラルネットワークアーキテクチャを採用する。
• 訓練は、生成画像と真値画像の間のL2再構成誤差を最小化する標準的なバックプロパゲーションにより実施される。
• ネットワークは、さまざまな視点と色を持つチェア、テーブル、自動車のレンダリング3次元モデルの大量データセットで訓練される。
• 訓練中に学習される共有特徴表現のおかげで、明示的なクラス間の監視がなくても、クラス間の知識移譲が可能になる。
• 潜在空間における不確実性をモデル化するために変分推論フレームワークが用いられ、潜在ベクトルにはガウス事前分布を、変分後ろ向き分布には近似推論用の分布を設定する。
• 目的関数は再構成誤差とKLダイバージェンスを組み合わせており、1回のデータポイントあたり1つのモンテカルロサンプルを用いて確率的勾配降下法で最適化される。

実験結果

リサーチクエスチョン

• RQ1 生成的アップコンボリューションネットワークは、3次元モデルの2次元投影から意味のある3次元表現を学習できるか。これにより、記憶の超えが可能になるか？
• RQ2 ネットワークは、未学習の組み合わせであっても、異なる視点やオブジェクトスタイルの間で補間できるか。その程度は？
• RQ3 ネットワークは、訓練中に見られなかった新しい視点に外挿できるか、また、トレーニングセットにない完全に新しいオブジェクトデザインを生成できるか？
• RQ4 学習された特徴は、たとえばテーブルの知識を用いて未学習のチェアの視点を生成するなど、オブジェクトクラス間での知識移譲を支援できるか？
• RQ5 生成モデルは、既存の手法を上回る性能で、異なるオブジェクト間の対応マッチングに有効に応用できるか？

主な発見

• ネットワークは記憶の超えを実現し、未学習の視点やオブジェクトの組み合わせに対しても妥当な画像を生成しており、意味のある3次元に依存する表現を学習していることが示唆される。
• モデルは、クラス内およびクラス間で異なるオブジェクトスタイルの間を滑らかに補間し、妥当な中間視点を生成している。
• ネットワークは、訓練中に見られなかった新しい視点に外挿できており、幾何学的・構造的事前知識を学習していることが示唆される。
• モデルは、異なるトレーニングインスタンスからの特徴を再結合することで、チェアと自動車のハイブリッドのようなクロスクラスの組み合わせを含め、まったく新しい実用的で妥当なオブジェクトデザインを生成している。
• 学習された特徴は、オブジェクト間対応マッチングの性能を顕著に向上させ、同じタスクにおいて既存のアプローチを上回っている。
• ドメイン分離された潜在空間を備えた変分推論フレームワークにより、特徴の算術操作（ベクトルの加算・減算）が意味のある画像空間の変化をもたらし、解釈可能である。