[論文レビュー] Recurrent Neural Network for Learning DenseDepth and Ego-Motion from Video

Rui Wang, Jan‐Michael Frahm+1 more|arXiv (Cornell University)|May 17, 2018

Advanced Vision and Imaging参考文献 30被引用数 9

ひとこと要約

本稿では、複数フレーム間の時間的相関を活用することで、モノクローラル動画から密な深度マップと自己運動を同時に推定する再帰的ニューラルネットワーク（RNN）であるDenseSLAMNetを提案する。この手法は、特に大深度領域において、単一および二フレーム学習ベースの深さ推定モデルを上回り、動的照明や変形可能なシーンを伴うエンドスコピック動画のような困難なデータに対しても効果的に一般化する。

ABSTRACT

Learning-based, single-view depth estimation often generalizes poorly to unseen datasets. While learning-based, two-frame depth estimation solves this problem to some extent by learning to match features across frames, it performs poorly at large depth where the uncertainty is high. There exists few learning-based, multi-view depth estimation methods. In this paper, we present a learning-based, multi-view dense depth map and ego-motion estimation method that uses Recurrent Neural Networks (RNN). Our model is designed for 3D reconstruction from video where the input frames are temporally correlated. It is generalizable to single- or two-view dense depth estimation. Compared to recent single- or two-view CNN-based depth estimation methods, our model leverages more views and achieves more accurate results, especially at large distances. Our method produces superior results to the state-of-the-art learning-based, single- or two-view depth estimation methods on both indoor and outdoor benchmark datasets. We also demonstrate that our method can even work on extremely difficult sequences, such as endoscopic video, where none of the assumptions (static scene, constant lighting, Lambertian reflection, etc.) from traditional 3D reconstruction methods hold.

研究の動機と目的

• 単一および二フレーム学習ベースの深さ推定の限界、特に大深度領域での困難さと、異なるデータセットへの一般化の難しさを解決すること。
• 静的シーン、一定の照明、ラムベール面を仮定する従来の3次元再構成パイプラインの欠陥を克服すること。
• モノクローラル動画シーケンスから密な深さとカメラ運動を同時に推定するリアルタイムでエンドツーエンドの学習ベースの手法を開発すること。
• RNNを用いて複数フレーム間の時間的依存性を明示的にモデル化することで、深さ推定の精度を向上させること。
• 従来の仮定が成り立たない実世界の困難なデータ、例えば非ラムベール反射や動的形状を示すエンドスコピック動画においても、その頑健性を示すこと。

提案手法

• コアなアーキテクチャは、フレームを逐次処理する再帰的ニューラルネットワーク（RNN）であり、各タイムステップで隠れ状態を更新し、時間的文脈を符号化する。
• 長短記憶（LSTM）ユニットをネットワークに統合し、長距離の時間的依存性を保持し、フレーム間での特徴表現を向上させる。
• 教師あり学習を用いて、入力フレームごとに密な深さマップとカメラポーズを同時に予測するように、エンドツーエンドで訓練する。
• 隠れ状態を前フレームから現在のフレーム処理に供給することで、時間情報を保持し、マルチビュー推論を可能にする。
• U-Netに類似したエンコーダ・デコーダ構造にスキップ接続を用い、密な深さ予測の精錬を図る。
• KITTIやSUN3Dなどのデータセットからの動画シーケンスを用いて、真値の深さマップとカメラポーズを用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 RNNベースのアーキテクチャは、単一または二フレーム手法を上回る密な深さ推定を、複数フレームの時間的情報を有効に活用することで実現できるか？
• RQ2 単純なフレームスタッキングと比較して、LSTMの使用は深さ推定の精度と一般化性能にどのように影響するか？
• RQ3 提案手法は、異なる画像解像度、照明条件、シーンの動的特性を持つ未観測データセットにも一般化可能か？
• RQ4 非ラムベール反射や動的形状を示すエンドスコピック動画のような極めて困難な動画シーケンスにおいて、モデルは性能を維持できるか？
• RQ5 最先端の学習ベース手法と比較して、本手法は大深度領域における深さ推定精度をどの程度向上させるか？

主な発見

• DenseSLAMNetは、屋内（NYUDepthV2）および屋外（Make3D）のベンチマークデータセットで最先端の性能を達成し、DeMoNや他のCNNベースの手法を上回る。
• NYUDepthV2データセットでは、Sc-invが0.181、Abs-invが0.071、Abs-relが0.171を達成し、DeMoNの指標を上回る。
• Make3Dデータセットでは、Sq-relが2.404、Abs-relが0.275、RMSEが6.476、log10が0.102を達成し、未観測の屋外シーンへの強力な一般化能力を示す。
• アブレーションスタディでは、LSTMを用いることで性能が著しく向上（Sc-inv: 0.112）し、単一フレームCNN（0.131）やスタックドフレームCNN（0.144）と比較して、時間的モデリングの価値を実証する。
• 70メートルに達するような大深度領域においても、木、車両、柱などの細部が保持された高品質な深さマップを生成する。
• 従来の仮定が成り立たないエンドスコピック動画においても、深さとカメラ運動を効果的に推定する。