[論文レビュー] Detecting Vanishing Points using Global Image Context in a Non-Manhattan World

Menghua Zhai, Scott Workman+1 more|arXiv (Cornell University)|Aug 19, 2016

Advanced Vision and Imaging参考文献 34被引用数 23

ひとこと要約

本稿では、マンハッタン・ワールドを仮定しない建物のシーンにおける消失点および水平線の検出のための新しいホライズンファーストアプローチを提案する。深層畳み込みニューラルネットワーク（CNN）から得られるグローバル画像コンテキストを用いて水平線候補を生成し、その後、一貫性のある消失点を同定する離散的・連続的最適化により各候補をスコア化することで、3つのベンチマークデータセットで最先端の精度と速度を達成した。

ABSTRACT

We propose a novel method for detecting horizontal vanishing points and the zenith vanishing point in man-made environments. The dominant trend in existing methods is to first find candidate vanishing points, then remove outliers by enforcing mutual orthogonality. Our method reverses this process: we propose a set of horizon line candidates and score each based on the vanishing points it contains. A key element of our approach is the use of global image context, extracted with a deep convolutional network, to constrain the set of candidates under consideration. Our method does not make a Manhattan-world assumption and can operate effectively on scenes with only a single horizontal vanishing point. We evaluate our approach on three benchmark datasets and achieve state-of-the-art performance on each. In addition, our approach is significantly faster than the previous best method.

研究の動機と目的

• 従来の手法が失敗する複雑でマンハッタン・ワールドでないシーンにおける消失点および水平線検出の課題に対処すること。
• ローカルな線分特徴に依存するのではなく、グローバル画像コンテキストを活用することで、より高いロバスト性と精度を実現すること。
• 消失点を最初に検出するパイプラインベースの手法に代わる、より高速かつ正確な代替手法を開発すること。
• 異なるデータセット間でのパrameterチューニングの必要性を排除するため、学習されたグローバルコンテキストを事前知識として用いること。

提案手法

• 本手法は、深層畳み込みニューラルネットワーク（CNN）を用いて抽出したグローバル画像コンテキストによって、妥当な水平線候補をガイドする。このコンテキストが、妥当な水平線の領域を事前分布として提供する。
• 各候補水平線に沿って、線分とその射影された消失点（VP）の整合性をモデル化する離 discrete-continuous 最適化フレームワークを用いて、消失点を同定する。
• 各水平線候補の最終スコアは、画像内の線分と検出された消失点の幾何学的整合性に基づいて計算される。
• 主なイノベーションは、従来のパイプライン（まずVPを検出し、その後水平線を推定する）とは逆に、まず水平線を提案し、VPの整合性によって検証するという点である。
• 水平線候補の探索空間を制限するため、天頂消失点の検出ステップを組み込むことで、幾何学的精度を向上させている。
• マンハッタン・ワールドの仮定を排除しており、たとえ水平消失点が1つしかないシーンでも、効果的に動作可能である。

実験結果

リサーチクエスチョン

• RQ1 深層学習によるグローバル画像コンテキストは、マンハッタン・ワールドでないシーンにおける消失点および水平線検出の精度とロバスト性を向上させることができるか？
• RQ2 従来の消失点検出パイプラインと比較して、ホライズンファーストアプローチは、精度と効率の面でどのように異なるか？
• RQ3 コンテキスト抽出に深層CNNを用いることで、データセット間でのマニュアルパrameterチューニングへの依存度はどの程度低下するか？
• RQ4 不規則な構造や疎な線分を含む現実世界の挑戦的なシナリオにおいて、この手法はどの程度の性能を示すか？

主な発見

• 提案手法は、ヨーク都市データセット（YUD）において最先端の性能を達成し、AUCが94.78%を記録した。
• ユーラシア都市データセット（ECD）ではAUCが90.80%を達成し、既存手法を上回った。
• 挑戦的な「ワイルドな水平線」データセット（HLW）では、AUCが58.24%を達成し、前回のSOTA手法（52.59% AUC）を顕著に上回った。
• 前回の最良手法よりも10倍以上高速であり、平均して1枚あたり60秒未満の推論時間で動作した。
• アブレーションスタディの結果、CNNからのグローバルコンテキストはGIST記述子やランダムフォレストよりも精度を向上させ、消失点検出が性能向上に顕著に寄与することが示された。
• 失敗事例はまれであり、主に短いエッジや曲線構造に起因するが、他の手法が失敗する状況でも妥当な結果を生成している。