[論文レビュー] Amodal Completion and Size Constancy in Natural Scenes

Abhishek Kar, Shubham Tulsiani+2 more|arXiv (Cornell University)|Sep 27, 2015

Advanced Neural Network Applications参考文献 27被引用数 10

ひとこと要約

本稿では、アモーダル境界ボックス補完、カテゴリ固有のサイズ分布モデリング、およびシーンの文脈からの焦点距離予測を組み合わせることで、1枚の画像から自然なシーンにおける真の物体サイズと相対的深度を推定するフレームワークを提案する。幾何的推論と学習された焦点距離事前分布を用いて、物体サイズと距離を分離することで、サイズ定常性を強固に実現し、複雑な現実世界のシーンにおいて定性的に成功を収めた。

ABSTRACT

We consider the problem of enriching current object detection systems with veridical object sizes and relative depth estimates from a single image. There are several technical challenges to this, such as occlusions, lack of calibration data and the scale ambiguity between object size and distance. These have not been addressed in full generality in previous work. Here we propose to tackle these issues by building upon advances in object recognition and using recently created large-scale datasets. We first introduce the task of amodal bounding box completion, which aims to infer the the full extent of the object instances in the image. We then propose a probabilistic framework for learning category-specific object size distributions from available annotations and leverage these in conjunction with amodal completion to infer veridical sizes in novel images. Finally, we introduce a focal length prediction approach that exploits scene recognition to overcome inherent scaling ambiguities and we demonstrate qualitative results on challenging real-world scenes.

研究の動機と目的

• 2D境界ボックス出力の制限を克服し、物体検出システムが1枚の画像から真の物体サイズと相対的深度を推定できるようにすること。
• 自然なシーンにおけるオクルージョン、サイズと距離のスケール曖昧性、校正データの欠如といった課題に対処すること。
• 物体認識とシーン理解を活用して、より豊かな3次元シーン認識を実現する汎用性のあるフレームワークを開発すること。
• 焦点距離がカメラメタデータなしにシーン画像から予測可能であることを示し、スケール曖昧性を解消することで計測可能なサイズ推定を可能にすること。

提案手法

• アモーダル補完を認識タスクとして導入し、畳み込みニューラルネットワークを用いて可視部分から物体境界ボックスの完全な範囲を予測する。
• アノテート済みデータからカテゴリ固有の物体サイズ分布を学習し、異なる物体カテゴリ間でのサイズ定常性を実現する。
• アモーダル補完とサイズ事前分布を統合する確率的フレームワークを提案し、シーン内の相対的物体サイズと深度を推定する。
• シーン分類ネットワークをPlacesデータセットで微調整し、EXIFメタデータを活用して焦点距離予測モデルを開発する。
• シーンの文脈を活用してカメラパラメータを推定するため、シーン画像から焦点距離比（対数ビン化）をマルチクラス分類によって予測するアプローチを採用する。
• アモーダル拡張と視覚的透視的手がかりに基づく幾何的推論と、学習された事前分布を統合することで、複雑でオクルージョンのあるシーンにおいてもサイズ定常性を達成する。

実験結果

リサーチクエスチョン

• RQ1 深層特徴から学習可能なアモーダル補完は、オクルージョンのあるシーンで物体の完全な範囲を回復するために効果的に学習可能か？
• RQ2 カテゴリ固有のサイズ分布は学習可能であり、オクルージョンを伴う新しい画像において相対的物体サイズを推定するために利用可能か？
• RQ3 カメラメタデータなしに、シーン画像からの焦点距離予測はどの程度可能か？サイズ推定におけるスケール曖昧性を解消するために十分な精度で予測可能か？
• RQ4 アモーダル補完、サイズ事前分布、焦点距離予測を統合した統一フレームワークは、複雑な自然シーンにおいて真のサイズ推定を達成可能か？

主な発見

• 提案されたアモーダル補完モデルは、PASCAL VOCで訓練されたCNNを用いて、非表示領域の物体部分の正確な完全範囲予測を実現した。
• 本フレームワークは、幾何的推論を用いて物体サイズと距離を分離し、オクルージョンが存在しても相対的サイズ推定が可能であることを示した。
• シーン画像からの焦点距離予測は実現可能である：最良のモデル（PlacesNet-Places）はトップ1正解率54.3％を達成し、ランダムやモードベースラインを顕著に上回った。
• 最良のモデルのトップ5予測正解率が3.1％であることは、焦点距離が粗い計測的サイズ推定に十分な信頼性で推定可能であることを示している。
• 定性的な結果から、本システムは複数のオクルージョンを伴う複雑な現実世界のシーンにおいて、妥当で真の物体サイズと深度関係を推定できることを示した。
• 本手法は、校正データが欠落している状況でも、シーンの文脈と学習された事前分布が補完可能であり、制約のない環境でもサイズ定常性を実現できることを示した。