[論文レビュー] Deep Supervision with Intermediate Concepts

Chi Li, M. Zeeshan Zia+4 more|arXiv (Cornell University)|Jan 8, 2018

Advanced Vision and Imaging被引用数 4

ひとこと要約

本論文では、物体のポーズやパーツの可視性といった中間的概念を畳み込みニューラルネットワーク（CNN）の隠れ層に組み込むことで、2次元／3次元キーポイント検出および画像分類における一般化性能を向上させる、ディスカッション型の深層教師付きフレームワークであるDISCOを提案する。合成されたCADレンダリング画像に中間的概念のラベルを付けてのみ学習することで、KITTI、PASCAL VOC、PASCAL3D+、IKEA、CIFAR100といった実世界のベンチマークで最先端の性能を達成し、単一タスクおよびマルチタスク学習のベースラインを上回っている。

ABSTRACT

Recent data-driven approaches to scene interpretation predominantly pose inference as an end-to-end black-box mapping, commonly performed by a Convolutional Neural Network (CNN). However, decades of work on perceptual organization in both human and machine vision suggests that there are often intermediate representations that are intrinsic to an inference task, and which provide essential structure to improve generalization. In this work, we explore an approach for injecting prior domain structure into neural network training by supervising hidden layers of a CNN with intermediate concepts that normally are not observed in practice. We formulate a probabilistic framework which formalizes these notions and predicts improved generalization via this deep supervision method. One advantage of this approach is that we are able to train only from synthetic CAD renderings of cluttered scenes, where concept values can be extracted, but apply the results to real images. Our implementation achieves the state-of-the-art performance of 2D/3D keypoint localization and image classification on real image benchmarks, including KITTI, PASCAL VOC, PASCAL3D+, IKEA, and CIFAR100. We provide additional evidence that our approach outperforms alternative forms of supervision, such as multi-task networks.

研究の動機と目的

• 実世界のデータセットにおける3次元アノテーションの不足を補うために、構造的な中間的概念を有する合成データを活用すること。
• 人間の視覚的推論にインspiredされた、中間的概念による知覚的構造の埋め込みを通じて、深層学習における一般化性能を向上させること。
• 標準的なエンドツーエンド学習およびマルチタスク学習を上回る汎用的な深層教師付きフレームワークを構築すること。
• 2次元キーポイント予測に依存せず、直接3次元構造に回帰することで、部分的遮蔽やクラス内変動に強い3次元幾何推定を実現すること。
• 細分化された画像分類への応用を拡張し、3次元構造予測を超えた幅広い応用可能性を示すこと。

提案手法

• 中間的概念を階層的でタスクに関連する監視信号として形式化する確率的フレームワークを導入し、特徴学習を正則化する。
• 物体のポーズやパーツの可視性といった異なる中間的概念をそれぞれ別々にターゲットとする、複数の監視ヘッドを異なるネットワーク深さに配置した、新しいCNNアーキテクチャ、DISCOを設計する。
• 部分的視界の曖昧さなどの実世界の課題に耐性を持つよう、制御された遮蔽を伴う3次元CADモデルから合成学習データを生成する。
• 複数の層における中間的概念からの監視を組み合わせたマルチタスク損失関数を用いてネットワークを学習させ、構造的な特徴学習を促進する。
• 中間段階での誤差伝搬を低減するために、2次元キーポイント予測に依存せず、直接3次元構造に回帰する。
• 粗い分類ラベルを中間的概念として用いることで、細分化された認識性能を向上させることで、画像分類への一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 合成データでの学習に限定した場合、中間的概念による深層教師付き学習が3次元オブジェクト幾何推定の一般化性能を向上させられるか？
• RQ2 エンドツーエンド学習およびマルチタスク学習と比較して、中間的概念による深層教師付き学習は性能および頑健性において優れているか？
• RQ3 オブジェクトのポーズやパーツの可視性といった中間的概念が、遮蔽やクラス内変動下での3次元キーポイント検出性能を向上させられるか？
• RQ4 中間的概念の使用が、CIFAR100のようなベンチマークにおける細分化された画像分類性能を向上させるか？
• RQ5 1つのモデルで複数のオブジェクトクラスにまたがる3次元幾何を同時にモデル化できるか？

主な発見

• DISCOは、KITTI-3D、PASCAL VOC、PASCAL3D+、IKEAを含む複数のベンチマークで、2次元／3次元キーポイント検出において最先端の性能を達成しており、合成されたCADレンダリング画像のみで学習した場合でも同様の結果を示している。
• 特に遮蔽や切断の処理において、単一タスクおよびマルチタスク学習のベースラインを顕著に上回っており、中間的概念による監視の有効性を実証している。
• CIFAR100データセットでは、粗い分類ラベルを中間的概念として用いることで、細分化された認識性能が向上し、本手法の広範な応用可能性を裏付けている。
• 定性的な結果から、DISCOは複数のオブジェクトが重なった複雑な遮蔽状況においても、3次元オブジェクトスケルトン、可視状態、インスタンスセグメンテーションを正確に予測していることが示された。
• IKEAデータセットでは、3D-INNを上回り、傾斜した座席やアームレストといった構造的側面を正しく捉えており、ベッドの脚部のスケール推定もより正確に実行している。
• ベッドやソファといった新しいオブジェクトカテゴリへの一般化が可能であるため、3次元シーン理解の汎用的アプローチとしての可能性を示している。