[論文レビュー] SeeThrough: Finding Chairs in Heavily Occluded Indoor Scene Images

Moos Hueting, Pradyumna Reddy+4 more|arXiv (Cornell University)|Oct 28, 2017

3D Surveying and Cultural Heritage被引用数 10

ひとこと要約

SeeThroughは、大規模な3Dシーンデータベースからの共起統計を用いた反復的精錬を組み合わせることで、2次元キーポイント検出と3次元候補生成を統合し、単一のRGBインdoor画像における部分的遮蔽されたチェアの検出に特化した3次元シーン文脈に配慮した手法を提案する。中程度から重度の遮蔽下において、特に弱く可視化された物体の再現率と正確度において、最先端の手法を顕著に上回る性能を発揮する。

ABSTRACT

Discovering 3D arrangements of objects from single indoor images is important given its many applications including interior design, content creation, etc. Although heavily researched in the recent years, existing approaches break down under medium or heavy occlusion as the core object detection module starts failing in absence of directly visible cues. Instead, we take into account holistic contextual 3D information, exploiting the fact that objects in indoor scenes co-occur mostly in typical near-regular configurations. First, we use a neural network trained on real indoor annotated images to extract 2D keypoints, and feed them to a 3D candidate object generation stage. Then, we solve a global selection problem among these 3D candidates using pairwise co-occurrence statistics discovered from a large 3D scene database. We iterate the process allowing for candidates with low keypoint response to be incrementally detected based on the location of the already discovered nearby objects. Focusing on chairs, we demonstrate significant performance improvement over combinations of state-of-the-art methods, especially for scenes with moderately to severely occluded objects.

研究の動機と目的

• 従来のオブジェクト検出が可視化された手がかりの欠如により失敗する、単一のインドアRGB画像における部分的遮蔽されたチェアの検出という課題に対処すること。
• 画像空間特徴に依存するのではなく、全体的な3次元シーンレベルの文脈的事前知識を活用することで、中程度から重度の遮蔽が生じるシーンにおける検出性能を向上させること。
• 3次元シーンにおけるオブジェクトの共起統計が、欠落または遮蔽されたオブジェクトインスタンスの回復に有効な事前知識として機能することを示すこと。
• すでに検出されたオブジェクトを用いた反復的精錬が、弱く可視化されたまたは重度に遮蔽されたオブジェクトの検出を向上させることを示すこと。
• 部分的遮蔽されたチェアがアノテートされた新しいデータセットを用いて本手法の妥当性を検証し、最先端のベースラインと比較すること。

提案手法

• 実際のインドア画像上で学習されたディープニューラルネットワークが、部分的に遮蔽されていてもチェア上の2次元キーポイントを予測する。
• キーポイントが3次元空間にリフトされ、チェアのための候補となる3次元オブジェクト提案が生成される。
• 大規模な合成3次元シーンデータベースから得られるペアワイズ共起統計を用いて、グローバル選択プロセスが実行され、最も妥当な3次元オブジェクト構成がスコア付け・選択される。
• パイプラインは検出と選択ステージを繰り返し実行し、事前に検出されたオブジェクトが、近くに位置する低応答（遮蔽された）候補の検出を強化できる。
• キーポイントベースの検出とシーンレベルの文脈を統合することで、画像空間のセグメンテーションに依存しない遮蔽下でのロバスト性が向上する。
• 本システムは実データにのみ微調整を施すことで訓練されており、合成データでの学習は一般化性能を著しく低下させたため、実データ微調整が合成事前学習を上回った。

実験結果

リサーチクエスチョン

• RQ1 3次元シーンレベルの共起統計は、単一のRGB画像における部分的遮蔽されたチェアの検出を向上させることができるか？
• RQ2 すでに検出されたオブジェクトを用いた反復的精錬は、弱く可視化されたまたは重度に遮蔽されたチェアの検出を向上させるか？
• RQ3 遮蔽の程度が変化する条件下で、本手法の性能は最先端の手法と比べてどの程度優れているか？
• RQ4 シーンレベルの文脈と3次元事前知識は、遮蔽状況下で誤検出をどれほど低減させ、再現率を向上させるか？
• RQ5 学習データが限られている、または合成データに依存する場合、3次元文脈とキーポイント検出に基づく手法は、エンドツーエンド学習アプローチを上回ることができるか？

主な発見

• LocAngメトリクスにおいて、すべてのIoUおよび角度閾値で、ベースライン手法と比較してSeeThroughは顕著に高いF1スコアを達成し、特に重度の遮蔽下で顕著である。
• 中程度から重度の遮蔽下では、SeeThroughは高い検出率を維持しているが、ベースライン手法は急速に性能を低下させ、遮蔽に対するロバスト性が明確に示された。
• アブレーションスタディの結果、ペアワイズ共起統計コストを無効化すると正確度が低下し、反復処理を無効化すると再現率が低下するため、両方のコンponentsが最適な性能を発揮するために不可欠であることが証明された。
• 完全なSeeThroughパイプラインは、単一反復および文脈フリーなバージョンを上回り、最高の組み合わせIoU2D F1およびLocAng F1スコアを達成した。
• キーポイントネットワークを合成データでの事前学習ではなく、実データのみで学習させた結果、より高い性能が得られた。これは、現実世界の視覚的パターンが一般化性能にとって極めて重要であることを示している。
• 近くに明確に可視化されたオブジェクトからの文脈的ヒントを活用することで、キーポイント応答が低いチェアの検出に成功し、部分的可視性下での有効な推論が可能であることが示された。