[論文レビュー] DRO: Deep Recurrent Optimizer for Structure-from-Motion.

Xiaodong Gu, Weihao Yuan+4 more|arXiv (Cornell University)|Mar 24, 2021

Advanced Vision and Imaging参考文献 44被引用数 17

ひとこと要約

本稿では、勾配計算を伴わずに特徴マトリクスコストを最小化するように、ゲート付き再帰ユニットを用いて深度マップとカメラポーズを繰り返し精錬する深層再帰最適化手法DROを提案する。この手法は、KITTIおよびScanNetにおいて、従来手法を上回る最先端の性能を達成するとともに、計算コストとメモリ消費量を削減する。

ABSTRACT

There are increasing interests of studying the structure-from-motion (SfM) problem with machine learning techniques. While earlier methods directly learn a mapping from images to depth maps and camera poses, more recent works enforce multi-view geometry constraints through optimization embedded in the learning framework. This paper presents a novel optimization method based on recurrent neural networks to further exploit the potential of neural networks in SfM. Specifically, our neural optimizer alternately updates the depth and camera poses through iterations to minimize a feature-metric cost, and two gated recurrent units iteratively improve the results by tracing historical information. In this way, our network is a gradient-free zeroth-order optimizer designed for SfM and can be applied to both supervised and self-supervised SfM. Extensive experimental results demonstrate that our method outperforms previous methods and is more efficient in computation and memory consumption than cost-volume-based methods. In particular, our self-supervised method outperforms previous supervised methods on the KITTI and ScanNet datasets. Our source code is available at this https URL.

研究の動機と目的

• エンドツーエンド学習における構造からモーション（SfM）の限界を、最適化を通じて幾何的制約を組み込むことで解決すること。
• 勾配計算に依存せずに、微分可能で再帰的な最適化フレームワークを設計し、深度とカメラポーズ推定を向上させること。
• ゲート付き再帰ユニットを用いて歴史的な最適化状態を活用することで、効率的かつ正確な自己教師付きSfMを実現すること。
• コストボリュームベースの手法と比較して、計算およびメモリのオーバーヘッドを低減しつつ、性能を維持または向上させること。

提案手法

• DROは、特徴マトリクスコスト関数に基づき、繰り返し深度マップとカメラポーズを更新する2つのゲート付き再帰ユニット（GRUs）を採用する。
• 最適化プロセスは、深度とポーズ推定の間を交互に精錬し、歴史的状態を用いて収束を導く。
• ネットワークはゼロ次最適化手法として機能し、最適化ループ内での逆誤差伝搬を回避する。
• この手法はエンドツーエンドで学習可能であり、教師ありおよび自己教師付きSfMの両方の設定に適用可能である。
• 特徴マトリクスコスト関数は、過去の最適化ステップのGRUベースの記憶を用いた繰り返しの精錬によって最小化される。

実験結果

リサーチクエスチョン

• RQ1 勾配計算を伴わず、再帰的ニューラルネットワークを構造からモーションにおける深度とカメラポーズ最適化に効果的に適用できるか？
• RQ2 勾配フリーで再帰的な最適化フレームワークは、勾配ベースまたはコストボリュームベースの手法と比較して、精度と効率の面でどのように差がつくか？
• RQ3 自己教師付きDRO手法は、KITTIやScanNetなどの実世界ベンチマークで、教師ありベースラインを上回ることができるか？
• RQ4 GRUを用いて最適化履歴を統合することで、収束性および最終的な再構築品質はどの程度向上するか？

主な発見

• DROは、教師ありおよび自己教師付きSfMベンチマークで最先端の性能を達成した。
• DROの自己教師付きバージョンは、KITTIおよびScanNetデータセットで、従来の教師あり手法を上回った。
• DROは、コストボリュームベースの手法と比較して、計算およびメモリ消費量を削減しながら、精度を維持または向上させた。
• ゲート付き再帰ユニットの使用により、最適化履歴の効果的な追跡が可能となり、収束性および最終的な結果品質が向上した。