[論文レビュー] Moving Indoor: Unsupervised Video Depth Learning in Challenging Environments

Junsheng Zhou, Yuwang Wang+2 more|arXiv (Cornell University)|Oct 20, 2019

Advanced Vision and Imaging参考文献 47被引用数 10

ひとこと要約

本論文は、屋内環境における深度推定の性能を向上させるために、光流を監視信号として活用する、画期的な教師なし動画深度学習フレームワークを提案する。スパarsityから密度への流れ推定ネットワークとポーズ推定の精緻化を導入することで、NYU Depth V2ベンチマークにおいて完全教師あり手法と同等の性能を達成した。これは、屋内データセットにおける完全教師なし学習の最初の定量的結果である。

ABSTRACT

Recently unsupervised learning of depth from videos has made remarkable progress and the results are comparable to fully supervised methods in outdoor scenes like KITTI. However, there still exist great challenges when directly applying this technology in indoor environments, e.g., large areas of non-texture regions like white wall, more complex ego-motion of handheld camera, transparent glasses and shiny objects. To overcome these problems, we propose a new optical-flow based training paradigm which reduces the difficulty of unsupervised learning by providing a clearer training target and handles the non-texture regions. Our experimental evaluation demonstrates that the result of our method is comparable to fully supervised methods on the NYU Depth V2 benchmark. To the best of our knowledge, this is the first quantitative result of purely unsupervised learning method reported on indoor datasets.

研究の動機と目的

• テクスチャの欠落領域や複雑なカメラ運動に起因する、従来の教師なし深度学習手法の屋内環境における失敗を解消すること。
• 光流を、ピクトメトリック一貫性よりも信頼性の高い監視信号として用いることで、教師なし学習の難易度を低減すること。
• 白い壁や光沢のある表面などのテクスチャ欠落領域に対応できる、ロバストなスパarsityから密度への光流ネットワークの開発。
• 特に純粋な回転を含む複雑な自己運動を示すハンドヘルドカメラシーケンスのポーズ推定を改善すること。
• 教師なし深度学習が、屋外ドライブシナリオにとどまらず、一般的な屋内シーンでも有効に機能することを示すこと。

提案手法

• 直接的なピクトメトリック一貫性ではなく、光流を監視信号として用いることで、学習の不安定性を低減する新しい学習パラダイムを提案。
• CNNベースの精緻化モジュールを用いて、画像全体にわたるスパarsityな光流シードを伝搬する、スパarsityから密度への流れ推定ネットワーク（SF-Net）を設計。
• 純粋な回転を示す画像ペアを除外するフィルタリング機構を導入し、学習中にネットワークの崩壊を防ぐ。
• ハンドヘルドカメラで一般的な複雑な非前進的運動に特に適した、新しいアーキテクチャ（F-PoseNet）をPoseNetに統合。
• 推定された光流を、DepthNetとPoseNetの両方を同時に監視するように活用し、深度予測の精度を向上。
• マルチステージの学習パイプラインを採用：まず合成データ上でSF-Netを事前学習し、その後、実際の屋内動画シーケンスを用いてDepthNetとPoseNetを共同で学習。

実験結果

リサーチクエスチョン

• RQ1 光流は、屋内シーンの教師なし深度学習において、ピクトメトリック一貫性よりも信頼性の高い監視信号として機能するか？
• RQ2 白い壁のようなテクスチャ欠落領域は、教師なし深度推定においてどのように効果的に処理できるか？
• RQ3 ハンドヘルドカメラシーケンスにおける純粋な回転が教師なし深度学習に与える影響は何か？ そして、その影響をどのように軽減できるか？
• RQ4 スパarsityから密度への光流推定ネットワークは、挑戦的な屋内環境における深度予測性能を向上させることができるか？
• RQ5 屋内データセットにおいて、完全教師あり手法と同等の性能を達成することができるか、完全に教師なしの動画学習のみで実現可能か？

主な発見

• 提案手法は、完全教師あり手法と同等の性能を、NYU Depth V2ベンチマークで教師なし動画学習のみで達成した。平均絶対誤差（MAE）は0.117、平均二乗誤差（RMSE）は0.234であった。
• アブレーションスタディの結果、光流監視と純粋な回転フィルタリングが、屋内環境における学習の崩壊を防ぐために不可欠であることが確認された。
• SF-Netは、白い壁やカーペットなどテクスチャ欠落領域においても高品質な光流予測を達成しており、定性的な可視化結果から、正しく光流が推定されていることが示された。
• F-PoseNetは、標準的なPoseNetと比較して、特に複雑な運動を示すシーケンスにおいて、ポーズ推定の精度を顕著に向上させた。
• KITTIデータセットでも、光流精度がボトルネックであったが、依然として良好な性能を示し、ドメイン間の汎用性を示した。
• 本モデルは、大規模なテクスチャ欠落領域や複雑な自己運動に対してもロバストであり、NYU Depth V2において完全教師あり手法と同等の結果を達成した。