[論文レビュー] PackNet-SfM: 3D Packing for Self-Supervised Monocular Depth Estimation.

Vitor Guizilini, Rareş Ambruş+2 more|arXiv (Cornell University)|May 6, 2019

Advanced Vision and Imaging被引用数 26

ひとこと要約

PackNet-SfM は、単眼動画を用いた自己教師付き単眼深度推定のための新しい 3D パッケージングおよびアンパッケージングアーキテクチャを提案する。速度監視損失を導入することで、テスト時のスケーリングを必要とせずにメトリックスケールの深度推定を可能にする。KITTI ベンチマークにおいて最先端の性能を達成し、すべての単眼動画学習済み手法を上回り、ステレオ学習済みモデルと競合する性能を示す。

ABSTRACT

Densely estimating the depth of a scene from a single image is an ill-posed inverse problem that is seeing exciting progress with self-supervision from strong geometric cues, in particular from training using stereo imagery. In this work, we investigate the more challenging structure-from-motion (SfM) setting, learning purely from monocular videos. We propose PackNet - a novel deep architecture that leverages new 3D packing and unpacking blocks to effectively capture fine details in monocular depth map predictions. Additionally, we propose a novel velocity supervision loss that allows our model to predict metrically accurate depths, thus alleviating the need for test-time ground-truth scaling. We show that our proposed scale-aware architecture achieves state-of-the-art results on the KITTI benchmark, significantly improving upon any approach trained on monocular video, and even achieves competitive performance to stereo-trained methods.

研究の動機と目的

• 単眼動画からの自己教師付き単眼深度推定の課題に対処すること。これは、ステレオ監視に比べて幾何的制約が欠如しているためである。
• 新規の 3D パッケージングおよびアンパッケージング機構を用いて、単一画像深度推定における細部の深度の捉え込みを向上させること。
• テスト時の真値スケーリングを必要とせず、メトリックスケールの正確な深度予測を可能にすること。これは自己教師付き単眼手法における主要な制限要因である。
• 単眼動画学習済みモデルとステレオ学習済みモデルの間の性能格差を埋めること。

提案手法

• 空間的・チャネル的・深度的次元にわたる特徴マップ処理を可能にする 3D パッケージングおよびアンパッケージングブロックを導入し、特徴表現の強化と細部回復を図る。
• 単眼動画の運動一貫性に基づく新規の速度監視損失を採用し、テスト時のスケーリングなしでメトリックスケールの深度を予測可能にする。
• 訓練中における幾何的監視を提供するため、単眼動画シーケンスからの構造から形状（SfM）の手がかりを活用する。
• 3D パッケージングを組み込んだマルチスケールエンコーダ-デコーダアーキテクチャを採用し、長距離依存関係をモデル化するとともに、深度マップの細部を保持する。
• 可微分なワーピング層を用いた逆深度監視を適用し、動画フレーム間での光度的一致性を強制する。
• 深度監視、光度的一致性、および速度に基づくメトリックキャリブレーションの組み合わせによりネットワークを最適化する。

実験結果

リサーチクエスチョン

• RQ1 単眼動画シーケンスのみで学習された自己教師付き単眼深度モデルが、ステレオ監視なしで最先端の性能を達成できるか？
• RQ2 標準的な 2D 特徴処理と比較して、3D パッケージングおよびアンパッケージングは、深度マップの細部をどれほど効果的に捉えられるか？
• RQ3 速度に基づく監視により、テスト時のスケーリングや深度監視を必要とせずにメトリック深度予測が可能になるか？
• RQ4 提案手法が、単眼動画学習済みモデルとステレオ学習済みモデルの間の性能格差をどの程度埋められるか？

主な発見

• PackNet-SfM は、単眼動画のみで学習されたモデルの中で、KITTI ベンチマークで最先端の深度推定性能を達成した。
• 絶対相対誤差（Abs Rel）、二乗相対誤差（Sq Rel）、平均二乗誤差（RMSE）の観点から、先行する単眼動画自己教師付き手法を著しく上回った。
• 速度監視損失により、テスト時のスケーリングを必要とせずメトリックスケールの深度予測が可能となり、自己教師付き手法における一般的な誤差要因を排除した。
• 3D パッケージングおよびアンパッケージングブロックは、深度不連続性を示す複雑なシーンにおいても、特徴表現の向上と細部の保持に寄与した。
• ステレオ学習済み手法と比較して競争力のある性能を達成した。これは、単眼動画が高品質な深度推定を提供する可能性を示している。