[論文レビュー] Depth from a Single Image by Harmonizing Overcomplete Local Network Predictions

Ayan Chakrabarti, Jingyu Shao+1 more|arXiv (Cornell University)|May 23, 2016

Advanced Vision and Imaging被引用数 51

ひとこと要約

本論文では、各画像画素において、さまざまな順序・スケール・方向の深度微分に関する確率分布を予測する深層畳み込みニューラルネットワークを学習することで、モノクローラル深度推定のための新規なアプローチを提案する。その後、これらの過剰な局所的予測を、効率的な最適化手順によりグローバルに一貫性のある深度マップに統合する。この手法は、NYUv2ベンチマークで最先端の性能を達成し、従来の学習ベースの手法と比較して主要な指標で優れている。

ABSTRACT

A single color image can contain many cues informative towards different aspects of local geometric structure. We approach the problem of monocular depth estimation by using a neural network to produce a mid-level representation that summarizes these cues. This network is trained to characterize local scene geometry by predicting, at every image location, depth derivatives of different orders, orientations and scales. However, instead of a single estimate for each derivative, the network outputs probability distributions that allow it to express confidence about some coefficients, and ambiguity about others. Scene depth is then estimated by harmonizing this overcomplete set of network predictions, using a globalization procedure that finds a single consistent depth map that best matches all the local derivative distributions. We demonstrate the efficacy of this approach through evaluation on the NYU v2 depth data set.

研究の動機と目的

• 単一のRGB画像からの正確な深度推定を、モノクローラルの手がかりのみを用いて行う挑戦に応えること。
• 複数のスケール、方向、順序における深度微分の不確実性と曖昧さを捉えることで、局所的な幾何的構造をより強固にモデル化すること。
• グローバライゼーション手順を用いて、過剰な確率的局所的予測を1つの一貫性のある深度マップに統合することで、深度推定を向上させること。
• 統一された確率的フレームワーク内で、モノクローラルの手がかりとスパarsなまたはノイジーな深度測定値を統合できるようにすること。
• 深度微分の過剰な、分布的表現を学習することで、優れた深度推定性能が得られることを示すこと。

提案手法

• 畳み込みニューラルネットワークを、各画素で0次から2次までの深度微分係数のパラメータ化された確率分布を出力するように学習する。スケールと方向の複数の組み合わせをカバーする。
• ネットワークは、グローバルな文脈と局所的な画像パッチの両方を入力とし、不確実性を伴う局所的な幾何的構造を予測する。
• 各出力は、深度微分係数の分布（平均と分散）であり、ネットワークが自信や曖昧さを表現できるようにする。
• グローバライゼーション手順により、すべての局所的微分分布に最も適合する単一の深度マップを、一貫性の目的関数を最小化することで求める。
• 最適化は、深度マップ全体にわたる滑らかさと一貫性を強制するスパースで大規模な二次計画問題として定式化される。
• この手法はエンドツーエンドで学習され、NYUv2データセット上で標準的な指標を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みニューラルネットワークは、複数の深度微分係数の分布を予測することで、多様なモノクローラル深度の手がかりを効果的に要約できるか？
• RQ2 確率分布による局所的深度予測の不確実性の表現が、最終的な深度推定の精度を向上させるか？
• RQ3 グローバライゼーション手順は、過剰な局所的確率的深度微分予測の集合を、グローバルに一貫性のある深度マップに効果的に統合できるか？
• RQ4 異なる微分の順序、スケール、方向は、最終的な深度推定精度にどのように寄与するか？
• RQ5 このアプローチは、直接回帰ベースの手法を上回る性能を発揮できるか？

主な発見

• 提案手法は、NYUv2テストセットで、線形スケールのRMSEが0.620、対数スケールのRMSEが0.205を達成し、従来の最先端手法を上回った。
• 相対誤差δ < 1.25の画素が80.6%、δ < 1.25²が95.8%、δ < 1.25³が98.7%に達し、小さな誤差に対して優れた性能を示した。
• アブレーションスタディの結果、微分係数の任意のサブセット（順序、スケール、方向）を除外すると性能が低下し、2次微分係数が最も寄与度が低かった。
• 0次微分係数（点単位の深度）のみを用いた場合、複数のスケールを組み合わせた0次微分係数の組み合わせよりも性能が良かった。これは、スケール多様性の重要性を示している。
• ネットワークの分布的出力は、予測誤差が低い領域では非常に自信がある（分散が小さい）ことが確認され、不確実性の推定が意味を持つことを裏付けた。
• NYUv2テスト画像における定性的な比較から、本手法はベースライン手法よりもより正確な局所的幾何的構造（エッジ、表面など）を生成した。