[論文レビュー] On the Synergies between Machine Learning and Stereo: a Survey

Matteo Poggi, Fabio Tosi+3 more|arXiv (Cornell University)|Apr 18, 2020

Advanced Vision and Imaging参考文献 101被引用数 12

ひとこと要約

本サーベイは、機械学習とステレオマッチングの双方向的連携を調査し、深層学習がステレオ深度推定をどのように進展させたか、また自己教師ありモノクロナル深度推定といったブレークスルーを可能にしたかを強調している。近年の学習ベースの手法をレビューし、主な成功要因を特定するとともに、分野における未解決の課題を明らかにしている。

ABSTRACT

Stereo matching is one of the longest-standing problems in computer vision with close to 40 years of studies and research. Throughout the years the paradigm has shifted from local, pixel-level decision to various forms of discrete and continuous optimization to data-driven, learning-based methods. Recently, the rise of machine learning and the rapid proliferation of deep learning enhanced stereo matching with new exciting trends and applications unthinkable until a few years ago. Interestingly, the relationship between these two worlds is two-way. While machine, and especially deep, learning advanced the state-of-the-art in stereo matching, stereo matching enabled new ground-breaking methodologies such as self-supervised monocular depth estimation based on deep neural networks. In this paper, we review recent research in the field of learning-based depth estimation from images highlighting the synergies, the successes achieved so far and the open challenges the community is going to face in the immediate future.

研究の動機と目的

• 過去40年間にわたり、機械学習とステレオマッチングの関係がどのように進化したかを分析すること。
• 深層学習が、従来の最適化ベースのアプローチからデータ駆動型アプローチへとステレオマッチングをどのように変革したかを特定すること。
• 逆に、ステレオマッチングが自己教師ありモノクロナル深度推定といった革新を可能にした点を強調すること。
• 学習ベースの深度推定の現在の最先端状態をマップし、今後の研究における未解決の課題を明らかにすること。

提案手法

• 本論文は、画像からの学習ベースの深度推定に関する最近の研究を包括的にレビューする。
• 古典的ステレオ手法から現代の深層学習ベースのフレームワークへの移行を検討する。
• ステレオマッチングの原則に駆動される自己教師あり学習がモノクロナル深度推定において果たす役割を分析する。
• 最先端モデルで用いられるアーキテクチャ、損失関数、トレーニング戦略を評価する。
• 幾何的制約と微分可能レンダリングが学習ベースのステレオパイプラインに統合される方法を議論する。
• データセット、ベンチマーク、アプリケーション分野のトレンドを統合し、メソドロジカルな連携を特定する。

実験結果

リサーチクエスチョン

• RQ1 深層学習は、ステレオマッチングの最先端技術をどのように変革したか？
• RQ2 ステレオマッチングは、自己教師ありモノクロナル深度推定分野において、どのような形で新たな発展を可能にしたか？
• RQ3 ステレオマッチングと機械学習の間には、どのような主要なメソドロジカルな連携があるか？
• RQ4 最近の進展にもかかわらず、学習ベースの深度推定における根強い課題は何か？
• RQ5 ステレオと機械学習の相互作用から、今後の研究で予想される新たな方向性は何か？

主な発見

• 深層学習は、精度と頑健性の面で、従来の最適化ベースの手法を大きく上回るステレオマッチングを実現した。
• ステレオと機械学習の連携により、ラベル付き深度データへの依存を減らした自己教師ありモノクロナル深度推定が可能になった。
• 学習ベースのステレオ手法は、KITTI や Middlebury といったベンチマークデータセットで、現在の最先端性能を達成している。
• 幾何的事前知識と微分可能レンダリングの統合により、エンドツーエンドの学習フレームワークにおける一般化性能と深度品質が向上した。
• 進展は見られるものの、未確認のシーンへの一般化、オクルージョンの処理、ドメインシフトの低減といった課題は依然として残っている。
• 本分野は、ステレオと学習の原則を両方活用する、より効率的でスケーラブルかつ解釈可能なモデルへの移行が進んでいる。