[論文レビュー] Rethinking Monocular Depth Estimation with Adversarial Training

Richard J. Chen, Faisal Mahmood+2 more|arXiv (Cornell University)|Aug 22, 2018

Advanced Vision and Imaging参考文献 61被引用数 39

ひとこと要約

本論文は、従来のピクセル単位の損失関数に代わり、ピクセル単位ではなくピクセルの局所的領域（パッチ）レベルの adversarial 損失を導入することで、文脈認識能力と構造的詳細の再現性を向上させる、単眼深度推定のための条件付き GAN フレームワークを提案する。生成器が現実的な深度マップを生成し、識別器が実際の深度パッチと生成された深度パッチを区別するように訓練されることで、NYUv2、Make3D、KITTI の各データセットにおいて最先端の性能を達成し、従来手法と比較して相対誤差を数倍まで低減した。

ABSTRACT

Monocular depth estimation is an extensively studied computer vision problem with a vast variety of applications. Deep learning-based methods have demonstrated promise for both supervised and unsupervised depth estimation from monocular images. Most existing approaches treat depth estimation as a regression problem with a local pixel-wise loss function. In this work, we innovate beyond existing approaches by using adversarial training to learn a context-aware, non-local loss function. Such an approach penalizes the joint configuration of predicted depth values at the patch-level instead of the pixel-level, which allows networks to incorporate more global information. In this framework, the generator learns a mapping between RGB images and its corresponding depth map, while the discriminator learns to distinguish depth map and RGB pairs from ground truth. This conditional GAN depth estimation framework is stabilized using spectral normalization to prevent mode collapse when learning from diverse datasets. We test this approach using a diverse set of generators that include U-Net and joint CNN-CRF. We benchmark this approach on the NYUv2, Make3D and KITTI datasets, and observe that adversarial training reduces relative error by several fold, achieving state-of-the-art performance.

研究の動機と目的

• 局所的ピクセル単位の損失関数の限界を解決すること。特に、高次の統計的特徴やグローバルな文脈を捉えられていない点に起因する。
• 敵対的訓練を通じて非局所的で文脈に配慮した損失関数を組み込むことで、深度推定の精度を向上させること。
• U-Net や CNN-CRF モデルを含む多様なアーキテクチャに敵対的訓練を適用した際の有効性を示すこと。
• スペクトル正則化を用いて訓練を安定化させ、多様なデータセット上でモード崩壊を防止すること。
• NYUv2、Make3D、KITTI などのベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 生成器が RGB 画像を深度マップにマッピングする条件付き GAN の設定を採用。識別器は深度パッチの現実性を評価する。
• 識別器は、予測から得た深度パッチを「実際（正解）」または「偽物（生成）」として分類するように訓練され、生成器がより現実的な深度構成を生成するよう促される。
• ピクセル単位の損失ではなく、深度値の同時配置（joint configuration）をペナルティ化するピクセルパッチレベルの敵対的損失を採用。これにより、グローバルなシーン構造のモデリングが向上する。
• 訓練の安定化と、多様なデータセット上での敵対的学習におけるモード崩壊の防止のため、スペクトル正則化を適用。
• 2 種類の生成器アーキテクチャ（U-Net と CNN-CRF の統合モデル）を用いて評価し、異なるネットワーク設計におけるアブレーションが可能となる。
• データオーグメンテーションとしてランダムクロップと水平反転を用い、NYUv2、Make3D、KITTI の標準的な分割データセット上で評価。

実験結果

リサーチクエスチョン

• RQ1 ピクセルパッチレベルの識別器を用いた敵対的訓練は、局所的ピクセル単位の損失を越えて深度推定性能を向上させ得るか？
• RQ2 U-Net や CNN-CRF といった異なる生成器アーキテクチャに敵対的訓練を適用した場合、性能にどのような影響を与えるか？
• RQ3 非局所的敵対的損失の導入により、標準的な L1/L2 損失と比較して、よりシャープで文脈的に正確な深度予測が得られるか？
• RQ4 スペクトル正則化は、多様な実世界データセットにおける深度推定の敵対的訓練を効果的に安定化させ得るか？
• RQ5 敵対的訓練は、NYUv2、Make3D、KITTI といった標準ベンチマークで相対誤差をどの程度低減させ、精度を向上させるか？

主な発見

• 敵対的 U-Net は、NYUv2 で 0.114、Make3D で 0.0646、KITTI で 0.061 の相対誤差を達成し、Xu 他 [57] の最先端手法を上回った。
• 敵対的 U-Net は、特に前面・背景のオブジェクトにおいて、非敵対的 U-Net と比較してエッジの詳細が明確で、ぼやけが減少した。
• すべてのデータセットで敵対的訓練により相対誤差が数倍低減され、ベースラインモデルと比較して顕著な性能向上が示された。
• 敵対的 CNN-CRF は相対誤差の向上が僅かで、特に高い閾値での精度が低下した。これはスーパーピクセルレベルの損失と小さな学習データセットに起因すると考えられる。
• 定性的な結果から、敵対的訓練により、複雑なシーンにおいても構造的一致性と現実性が向上した。
• フレームワークは NYUv2、Make3D、KITTI で最先端の性能を達成し、文脈に配慮した深度推定にピクセルパッチレベルの敵対的損失が有効であることを裏付けた。