[論文レビュー] Deep Learning for Single-View Instance Recognition

David Held, Sebastian Thrun+1 more|arXiv (Cornell University)|Jul 29, 2015

Advanced Image and Video Retrieval Techniques参考文献 50被引用数 22

ひとこと要約

本論文は、視点の変化に強い性能を発揮するため、マルチビューの補助データセットを活用した、1枚の画像からのインスタンス認識を目的としたマルチステージのディーブラーニングフレームワークを提案する。クラスレベルおよびマルチビューのデータで事前学習を行い、その後1例のインスタンスデータで微調整することで、テクスチャあり・なしの両方の物体に対して最先端の性能を達成し、キーポoinトマッチング法やテンプレートマッチング法、スパースコーディング法を上回る。

ABSTRACT

Deep learning methods have typically been trained on large datasets in which many training examples are available. However, many real-world product datasets have only a small number of images available for each product. We explore the use of deep learning methods for recognizing object instances when we have only a single training example per class. We show that feedforward neural networks outperform state-of-the-art methods for recognizing objects from novel viewpoints even when trained from just a single image per object. To further improve our performance on this task, we propose to take advantage of a supplementary dataset in which we observe a separate set of objects from multiple viewpoints. We introduce a new approach for training deep learning methods for instance recognition with limited training data, in which we use an auxiliary multi-view dataset to train our network to be robust to viewpoint changes. We find that this approach leads to a more robust classifier for recognizing objects from novel viewpoints, outperforming previous state-of-the-art approaches including keypoint-matching, template-based techniques, and sparse coding.

研究の動機と目的

• 1枚の画像のみをクラスごとに使用するという状況において、製品データベースや実世界の応用で一般的に見られる特定の物体インスタンスを認識する課題に取り組む。
• 視点の変化やテクスチャのない物体に対して失敗する、従来のキーポイントベースやテンプレートマッチング手法の限界を克服する。
• 別個のマルチビューデータセットを用いた新しい事前学習戦略を導入することで、データ量が少ない状況下でもディープニューラルネットワークの一般化性能と耐性を向上させる。
• マルチビュー事前学習が、インスタンスレベルの学習データが最小限であっても、ニューラルネットワークが視点不変性を学習可能であることを実証する。

提案手法

• 一般から特定へのトレーニングパイプラインを採用：まずImageNetで一般物体クラス認識のための事前学習を行い、次にマルチビューデータセットで視点不変性を学習し、最後に1枚のインスタンス画像データで微調整する。
• 複数の角度から撮影されたオブジェクトのマルチビューデータセットを用い、視点の変化に対しても耐性を持つネットワークを学習する。最終タスクでは1インスタンスあたり1枚の画像しか使用しないが、これにより耐性が向上する。
• マルチビュー事前学習中に初期の畳み込み層を固定し、徐々に深い層（fc6、fc7、最終的には畳み込み層）を微調整することで、視点不変性に適応した特徴を学習する。
• ランダムな背景で事前学習することで、実環境における背景の変化に強い性能を発揮し、合成された背景に限定されない一般化性能を向上させる。
• テスト時にノイズ拡張を適用し、正規分布からスケーリングおよびシフト要因をサンプリングすることで、ボクセルボックスの不正確さに対する耐性を評価する。
• マルチビュー事前学習における最適な層の固定ポイントを決定するために交差検証を適用し、性能と一般化性能のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 1つのトレーニング画像しか利用できない状況下で、ディープニューラルネットワークが堅牢な1枚の画像からのインスタンス認識を達成できるか？
• RQ2 クラスレベルのデータセットでの標準的な事前学習と比較して、マルチビューデータセットでの事前学習が、新しい視点における性能を顕著に向上させるか？
• RQ3 マルチビュー事前学習は、実世界のテスト環境における背景の変化やボクセルボックスのノイズに対して、どの程度耐性を向上させるか？
• RQ4 どのネットワーク層がマルチビュー事前学習から最も恩恵を受けるか？また、段階的な微調整が最終的な正確性にどのように影響するか？

主な発見

• マルチビュー事前学習を用いた本手法は、RGB-Dオブジェクトデータセットで65.1%の正確性を達成し、マルチビュー事前学習なしのベースライン（59.2%）よりも5.9%の向上を示した。
• マルチビュー事前学習により、背景を含む実環境での性能が2.6%向上（44.1% vs. 41.5%）し、背景の変化に対する耐性が向上していることが示された。
• マルチビュー事前学習中にfc6およびfc7層を微調整することで、ベースライン比で4.7%の正確性向上が得られ、その中で最大の向上（1.7%）はfc7層の微調整から得られた。
• 本手法は、テクスチャあり・なしの両方の物体において、キーポイントマッチング法、テンプレートベース法、スパースコーディング法を上回り、特に大きな視点変化下でも優れた性能を示した。
• ボクセルボックスのノイズに対しては、n=10までのノイズパラメータ範囲で耐性が維持され、すべてのノイズレベルでベースライン手法よりも顕著に高い正確性を示した。
• ランダムな背景で事前学習することで、実環境での性能が向上したが、深度セグメンテーション環境ではわずかに性能が低下した。これは、文脈依存的な利点であることを示唆している。