[論文レビュー] A Geometric Approach to Obtain a Bird's Eye View from an Image

Ammar N. Abbas, Andrew Zisserman|arXiv (Cornell University)|May 6, 2019

Advanced Vision and Imaging参考文献 38被引用数 18

ひとこと要約

本論文は、焦点距離が既知であれば垂直消失点と水平線（または2つ）のみを回帰することで、単眼画像から視点補正された鳥瞰図を生成する幾何的深層学習手法を提示する。新規の幾何的表現と大規模な合成データセット（CARLA-VP）を用いることで、『野生の水平線』ベンチマークで74.52% AUCを達成し、動画監視や3次元シーン理解などの応用分野におけるリアルタイムで頑健な補正を可能にする。

ABSTRACT

The objective of this paper is to rectify any monocular image by computing a homography matrix that transforms it to a bird's eye (overhead) view. We make the following contributions: (i) we show that the homography matrix can be parameterised with only four parameters that specify the horizon line and the vertical vanishing point, or only two if the field of view or focal length is known; (ii) We introduce a novel representation for the geometry of a line or point (which can be at infinity) that is suitable for regression with a convolutional neural network (CNN); (iii) We introduce a large synthetic image dataset with ground truth for the orthogonal vanishing points, that can be used for training a CNN to predict these geometric entities; and finally (iv) We achieve state-of-the-art results on horizon detection, with 74.52% AUC on the Horizon Lines in the Wild dataset. Our method is fast and robust, and can be used to remove perspective distortion from videos in real time.

研究の動機と目的

• 正確な鳥瞰図を生成するために、単眼画像の透視歪みを幾何的に原理的かつ整合的に補正する手法の開発。
• ホモグラフィー行列のパrameter化を8つから垂直消失点と水平線の4つの幾何的パラメータに削減し、効率的で安定した学習を可能にする。
• 水平線が画像外にある場合に失敗する既存手法の限界を克服するため、合成データを用いた頑健な学習を実施。
• 正規直交消失点とカメラパラメータの真値を備えた大規模かつ高精度な合成データセット（CARLA-VP）を構築し、CNNの効果的な学習を可能にする。
• 計算オーバーヘッドを最小限に抑え、複数フレームにわたるパラメータ平均化をサポートすることで、動画処理におけるリアルタイム応用を実現する。

提案手法

• ホモグラフィー行列は、垂直消失点と地面平面の消失線（水平線）という4つの幾何的パラメータからのみ導出され、パrameter空間が顕著に削減される。
• 消失点と直線（無限遠点を含む）をエンコードする新規の幾何的表現が導入され、CNNによるエンドツーエンドの深層学習に適している。
• すべての3つの直交消失点、カメラ内部パラメータ、姿勢（チルト/ロール）の真値を備えた大規模な合成データセット、CARLA-VPが生成され、頑健な学習が可能になる。
• 本手法はCNNを用いて1回の順伝播で消失点と水平線を予測し、先行研究で一般的な後処理ステップを回避する。
• 予測されたパラメータに基づく単純な幾何的変換（回転、平行移動、スケーリング）のシーケンスによりホモグラフィーが再構築され、幾何的整合性が保証される。
• 反復的精錬を回避することでリアルタイム性能が達成され、GTX 1050 Tiで1画像あたり約40 msの推論時間（25 FPS）を達成する。

実験結果

リサーチクエスチョン

• RQ1 ホモグラフィー行列の最小限の幾何的パrameter化は、鳥瞰図補正における複雑さの低減と耐障害性の向上に寄与するか？
• RQ2 消失点と直線が画像外にある場合でも、合成データを用いた深層ニューラルネットワークの訓練が有効に可能か？
• RQ3 無限遠点と直線を扱える新規の幾何的表現は、標準的な回帰手法と比較して、CNNによる水平線検出性能を向上させるか？
• RQ4 動画フレーム間でパラメータを平均化することで、特に焦点距離の推定精度と安定性が向上するか？
• RQ5 本手法は、水平線が画像内に存在しないケースを含め、実世界ベンチマークにおいて最先端の手法を上回るか？

主な発見

• 『野生の水平線』（HLW）ベンチマークで74.52% AUCを達成し、Workmanら（2023）の前回SOTAの71.16%を上回った。
• 実画像への一般化性能が高く、補正された鳥瞰図におけるレーンマークや道路寸法の幾何的比率が正しく再現されている、定性的な結果が示された。
• 水平線が画像外にある場合にも頑健である。これは、水平線の可視化に依存する先行手法が失敗する失敗ケースである。
• GTX 1050 Tiで25 FPSで実行可能であり、後処理や反復的精錬なしに動画ストリームのリアルタイム処理が可能である。
• フレーム間で予測値を平均化することで、焦点距離推定誤差が低減され、約400フレームで真値に近づくようになった。
• 合成データセットCARLA-VPにより、真値の正確でバイアスのない監視が可能となり、実世界データセットでは水平線が主に可視であるため生じるアノテーションバイアスを克服した。