[論文レビュー] Unsupervised learning through one-shot image-based shape reconstruction.

Dinesh Jayaraman, Ruohan Gao+1 more|arXiv (Cornell University)|Sep 1, 2017

Human Pose and Action Recognition参考文献 17被引用数 8

ひとこと要約

本論文は、エンコーダ-デコーダー畳み込みニューラルネットワークを用いて、1枚の2次元画像から自己教師あり、カテゴリに依存しない方法で3次元形状表現を学習する手法を提案する。入力画像から未観測のすべての視点を再構築するようにモデルを訓練することで、分離された形状特徴を学習し、ゼロショットの心的回転を可能にするとともに、オブジェクト認識において既存の教師なし手法を上回る性能を発揮する。

ABSTRACT

We introduce an unsupervised feature learning approach that embeds 3D shape information into a single-view image representation. The main idea is a self-supervised training objective that, given only a single 2D image, requires all unseen views of the object to be predictable from learned features. We implement this idea as an encoder-decoder convolutional neural network. The network maps an input image of an unknown category and unknown viewpoint to a latent space, from which a deconvolutional decoder can best lift the image to its complete viewgrid showing the object from all viewing angles. Our class-agnostic training procedure encourages the representation to capture fundamental shape primitives and semantic regularities in a data-driven manner---without manual semantic labels. Our results on two widely-used shape datasets show 1) our approach successfully learns to perform mental rotation even for objects unseen during training, and 2) the learned latent space is a powerful representation for object recognition, outperforming several existing unsupervised feature learning methods.

研究の動機と目的

• カテゴリ特化の監視なしに1枚の視点画像から3次元形状情報を捉える教師なし特徴学習手法の開発。
• 基本的な形状プリミティブと意味的規則性を学習することで、未学習のオブジェクトカテゴリへの一般化を可能にする。
• 手動アノテーションの必要性を排除し、視点再構築に基づく自己教師あり目的関数を用いる。
• 学習された表現がゼロショット一般化および下流の認識タスクをサポートするかを評価する。

提案手法

• 本手法は、1枚の2次元画像を潜在空間にマップし、全方向からの視点グリッドを再構築するエンコーダ-デコーダー畳み込みニューラルネットワークを用いる。
• 自己教師あり訓練の目的関数は、入力画像のみを監視として用い、符号化された特徴量から未観測のすべての視点を予測することを要求する。
• エンコーダーは1枚の画像から階層的特徴を抽出するが、デコーダーは全視点からのオブジェクトを表すマルチビュー出力を生成する。
• 予測された視点グリッド画像と真値との差を最小化する再構築損失を用いて、エンドツーエンドでモデルを訓練する。
• 本手法はカテゴリに依存しないため、カテゴリラベルやオブジェクト識別に関する事前知識を必要としない。
• 潜在空間は、心的回転や一般化を支援する形状不変特徴を符号化するように最適化される。

実験結果

リサーチクエスチョン

• RQ1 カテゴリラベルや監視なしに、1枚の2次元画像からオブジェクトの欠落したすべての視点を再構築できるか？
• RQ2 学習された表現が、データ駆動的に分離された形状プリミティブと意味的規則性を捉えているか？
• RQ3 訓練中に一度も見なかったオブジェクトに対しても、モデルが暗黙的に心的回転を実行できるか？
• RQ4 既存の教師なし手法と比較して、学習された表現が下流の認識タスクでどの程度の性能を発揮するか？
• RQ5 潜在空間は意味的に意味があり、ゼロショットオブジェクト認識に有用か？

主な発見

• モデルは未学習のオブジェクトに対して心的回転を正しく実行し、学習分布を超えた一般化を示した。
• 2つのベンチマーク形状データセットにおいて、教師なし手法の中で最先端の性能を達成した。
• 下流の認識タスクにおいて、複数の既存の教師なし特徴学習ベースラインを上回った。
• カテゴリレベルのアノテーションやファインチューニングなしに、オブジェクトカテゴリを跨いで一般化した。
• 自己教師あり目的関数が、形状不変で意味的に整合性のある特徴の学習を効果的に促進した。