[論文レビュー] From Big to Small: Multi-Scale Local Planar Guidance for Monocular Depth Estimation

Jin Han Lee, Myung Kyu Han+2 more|arXiv (Cornell University)|Jul 24, 2019

Advanced Vision and Imaging参考文献 49被引用数 483

ひとこと要約

この論文は複数のデコード段階に配置されたマルチスケールの局所平面ガイダンス（LPG）層を導入し、密な特徴マップを全解像度の深度へ導くことで、NYU Depth V2とKITTIでモノクロ depth推定の最先端を達成する。LPGの有効性を検証する多くのアブレーションも提供。

ABSTRACT

Estimating accurate depth from a single image is challenging because it is an ill-posed problem as infinitely many 3D scenes can be projected to the same 2D scene. However, recent works based on deep convolutional neural networks show great progress with plausible results. The convolutional neural networks are generally composed of two parts: an encoder for dense feature extraction and a decoder for predicting the desired depth. In the encoder-decoder schemes, repeated strided convolution and spatial pooling layers lower the spatial resolution of transitional outputs, and several techniques such as skip connections or multi-layer deconvolutional networks are adopted to recover the original resolution for effective dense prediction. In this paper, for more effective guidance of densely encoded features to the desired depth prediction, we propose a network architecture that utilizes novel local planar guidance layers located at multiple stages in the decoding phase. We show that the proposed method outperforms the state-of-the-art works with significant margin evaluating on challenging benchmarks. We also provide results from an ablation study to validate the effectiveness of the proposed method.

研究の動機と目的

• 不定な問題としての正確な単眼深度推定を動機づけ、グローバルおよび局所的手がかりを活用する。
• 複数のデコード段階でLPG層を導入し、明示的な幾何ガイダンスを提供する。
• LPGベースのガイダンスが屋内外のベンチマークで深度精度を向上させることを示す。
• 複数のバックボーンエンコーダ（ResNet、DenseNetなど）で評価して頑健性と一般化を示す。
• LPGの寄与と訓練損失設計を検証するアブレーション分析を提供する。

提案手法

• 密な特徴抽出器を備えたエンコーダ–デコーダのバックボーンを使用する。
• バックボーンの後にコンテキスト抽出器（拡張率を持つASPP）を挿入する。
• H/8、H/4、H/2の解像度を持つデコード段階に局所平面ガイダンス（LPG）層を埋め込み、k×kパッチごとに4D平面係数を生成する。
• 平面係数をレイ-平面交差を介して局所的な深度手掛かりへ変換し、パッチごとの深度ガイダンスを得る。
• 複数スケールのLPG出力を1×1に縮小した特徴と結合し、最終畳み込み層で最終深度を予測する。
• 対数深度誤差に基づくスケール認識ロス（SiLog変種）を用いた訓練と、最終損失 L = alpha * sqrt(D(g))。
• 複数のバックボーン（ResNet-101/ResNext-101/DenseNet-161）とデータセット（NYU Depth V2、KITTI）で効果を実証する。

実験結果

リサーチクエスチョン

• RQ1 強力なベースラインに対して、マルチスケールLPG層を組み込むと単眼深度推定が改善されるか？
• RQ2 異なるデコード段階のLPG層は最終的な深度品質にどう寄与するか？
• RQ3 LPG対応ネットワークの性能に対する異なるバックボーンエンコーダの影響は？
• RQ4 提案された損失設計が訓練収束と精度に与える影響は？
• RQ5 室内（NYU）と屋外（KITTI）データセットの間で利得は一貫しているか？

主な発見

• LPG搭載ネットワークはNYU Depth V2およびKITTIのベンチマークで最先端の結果を達成し、ほとんどの指標で従来法を上回る。
• アブレーションにより、LPG層がコア構成要素の中で最も重要な性能向上をもたらすことが示される。
• バックボーンとしてDenseNet-161はNYUで最高結果を、ResNext-101はKITTIで最強になる場合があり、データセット依存の利点を示す。
• 評価分割全体でインライア指標（例: delta閾値）や深度精度指標の顕著な改善をもたらす。
• 軽量バックボーン（例: MobileNetV2）でも competitiveな性能を維持し、パラメータ効率の高い利得をもたらす。
• 定性的結果は、競合手法と比較して物体境界がよりはっきりし、局所的ディテールの保持が向上している。