[論文レビュー] Plug-and-Play: Improve Depth Estimation via Sparse Data Propagation

Tsun-Hsuan Wang, Fu-En Wang+4 more|arXiv (Cornell University)|Dec 20, 2018

Advanced Vision and Imaging参考文献 25被引用数 11

ひとこと要約

本稿では、再訓練を伴わずに、事前学習済みモデルの間接的特徴マップを通じてスパースな深度入力を伝搬させることで、密度の高い深度推定を向上させるプラグアンドプレイ（PnP）モジュールを提案する。この手法は、NYU-v2およびKITTIデータセットにおいて、複数の最先端の深度推定モデルで一貫した性能向上を達成しており、多様なスパarsityおよび視野角を有するLiDARセンサーのシミュレーションに対しても有効である。

ABSTRACT

We propose a novel plug-and-play (PnP) module for improving depth prediction with taking arbitrary patterns of sparse depths as input. Given any pre-trained depth prediction model, our PnP module updates the intermediate feature map such that the model outputs new depths consistent with the given sparse depths. Our method requires no additional training and can be applied to practical applications such as leveraging both RGB and sparse LiDAR points to robustly estimate dense depth map. Our approach achieves consistent improvements on various state-of-the-art methods on indoor (i.e., NYU-v2) and outdoor (i.e., KITTI) datasets. Various types of LiDARs are also synthesized in our experiments to verify the general applicability of our PnP module in practice. For project page, see https://zswang666.github.io/PnP-Depth-Project-Page/

研究の動機と目的

• LiDARやRGB-Dセンサーからの任意のパターンのスパースな深度データを用いて、密度の高い深度推定を改善する課題に対処すること。
• 再トレーニングを必要としたり、特定の入力タイプや密度に制限される既存手法の限界を克服すること。
• 推論時において、任意の事前学習済みで微分可能な深度推定モデルにスパースな深度データをシームレスに統合できることを実現すること。
• 視野角や垂直分解能が異なる合成LiDARを含む、多様なセンサー設定においても、堅牢性と汎用性を示すこと。
• 実世界の深度推定パイプラインへの効果的適用のための実用的で直感的なガイドラインを提供すること。

提案手法

• 事前学習済み深度推定モデルの間接的特徴表現を変更することで、与えられたスパースな深度入力と整合させるプラグアンドプレイモジュールを導入する。
• バックプロパゲーションを用いて、最終的な深度出力がスパースデータと一致するように、中間特徴上での最適化問題として改善を定式化する。
• 反復的最適化を適用：複数回の逆伝播によりスパースな深度情報を特徴マップに段階的に伝搬させ、予測の一貫性を向上させる。
• ネットワークの異なる深さにおける中間特徴マップ（z）を選択し、実験により出力層から離れた特徴が、より大きな受容 field を持つため、より優れた性能を示すことが判明した。
• 収束性と推論時間のバランスを考慮し、学習率αと固定回数の反復（例：5回）を用いる。
• トレーニング不要を保証するため、元のモデル重みとアーキテクチャを維持し、推論時のみに特徴を更新する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング不要のモジュールは、再トレーニングを伴わず、任意のスパースな深度パターンを用いて深度推定を向上させることができるか？
• RQ2 中間特徴マップ（z）の選択がPnPモジュールの性能に与える影響は何か？
• RQ3 反復的最適化が予測精度および推論時間に与える影響は何か？
• RQ4 視野角や垂直分解能が異なるさまざまなLiDARセンサー設定において、PnPモジュールの汎用性はどの程度か？
• RQ5 実装に際して最適な層と反復回数を決定するための実用的で直感的なガイドラインは何か？

主な発見

• PnPモジュールは、NYU-v2およびKITTIデータセットの全テスト済み最先端深度推定モデルにおいて、一貫した向上を達成した。
• KITTIでは、28.8%のサンプリングレートと0.3の垂直分解能を有するVLP-32C LiDARをシミュレートした場合、MAEが最大11.8%改善された。
• NYU-v2では、VLP-16のシミュレーションを用いた場合、MAEが9.3%低下し、低スパース入力に対しても強力な性能を示した。
• 視野角が広いLiDAR（例：HDL-32E、41° FoV）では、密度が高いが視野角が狭いセンサーに比べて性能が優れており、点密度よりも空間的分布の重要性が示された。
• 5～10回の反復で改善が飽和することが判明し、精度と推論時間のトレードオフが存在することが示され、リアルタイム応用に適した調整が可能である。
• 出力層から離れた（つまり、ネットワークの浅い〜中程度のレイヤーにある）中間特徴を選択すると、より優れた性能が得られ、特に浅い〜中程度のレイヤーでzを設定した場合に最も良い結果が得られた。