[論文レビュー] Online Adaptation through Meta-Learning for Stereo Depth Estimation

Zhenyu Zhang, Stéphane Lathuilière+4 more|arXiv (Cornell University)|Apr 17, 2019

Advanced Vision and Imaging参考文献 45被引用数 13

ひとこと要約

本稿では、オンライン特徴分布の整合性とメタラーニングを組み合わせることで、ステレオ深度推定における高速なオンライン適応を実現する新規手法、Online Meta-Learning with Adaption (OMLA) を提案する。この手法により、深層ネットワークは、照明の変化や地形の変化といった新しい環境に、数フレームのみで迅速に適応可能となり、KITTIベンチマークにおいて、バッチ学習で訓練された最先端モデルと同等の性能を達成する。

ABSTRACT

In this work, we tackle the problem of online adaptation for stereo depth estimation, that consists in continuously adapting a deep network to a target video recordedin an environment different from that of the source training set. To address this problem, we propose a novel Online Meta-Learning model with Adaption (OMLA). Our proposal is based on two main contributions. First, to reducethe domain-shift between source and target feature distributions we introduce an online feature alignment procedurederived from Batch Normalization. Second, we devise a meta-learning approach that exploits feature alignment forfaster convergence in an online learning setting. Additionally, we propose a meta-pre-training algorithm in order toobtain initial network weights on the source dataset whichfacilitate adaptation on future data streams. Experimentally, we show that both OMLA and meta-pre-training helpthe model to adapt faster to a new environment. Our proposal is evaluated on the wellestablished KITTI dataset,where we show that our online method is competitive withstate of the art algorithms trained in a batch setting.

研究の動機と目的

• 動的環境におけるリアルワールド展開を想定した、ステレオ深度推定におけるオンラインドメイン適応の課題に取り組む。
• ラベル付きデータが最小限であるにもかかわらず、学習データ（ソース）と未観測のターゲット動画シーケンスとの間のドメインシフトを克服する。
• 新しい視覚ドメインへの逐次的適応において、高速収束を可能にするメタラーニングフレームワークを構築する。
• 迅速な適応に適した初期ネットワーク重みを最適化するメタ事前学習戦略を導入することで、モデルの汎化性能を向上させる。
• オンライン適応が、オフラインでバッチ学習された最先端モデルと同等の性能を達成できることを実証する。

提案手法

• オンライン特徴分布の整合性（バッチ正規化に類似た統計値を用いる）と勾配ベースのメタ最適化を組み合わせた、高速適応を実現するメタラーニングフレームワークであるOMLAを提案する。
• ターゲット動画ストリームからの走査統計値を用いて、ソースドメインとターゲットドメインの特徴分布を整合化するオンライン特徴整合手順を導入する。
• OMLA更新を用いてソースデータ上でネットワークを訓練するメタ事前学習損失を設計し、新しいデータストリーム上で高速収束を促進する初期化を保証する。
• 2段階の訓練プロセスを採用する：まずソースデータセット（例：Synthia, SceneFlow Driving）でメタ事前学習を行い、次にターゲット動画で推論時にOMLAを適用する。
• 動画データの逐次的性質を活用して、環境に一般化可能なメタ学習最適化ステップを用いて、ネットワーク重みを段階的に更新する。
• 標準的な指標（例：Abs Rel, Sq Rel, RMSE）を用いてKITTIデータセットで訓練および評価を行い、オフラインベースラインと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 深層ステレオ深度モデルは、オンラインデータとして数フレームのみで、新しい環境に迅速に適応できるか？
• RQ2 特徴整合性とメタラーニングを組み合わせることで、オンライン適応における収束速度と最終的精度が向上するか？
• RQ3 OMLAを用いてソースデータでメタ事前学習することで、標準的な事前学習よりもオンライン適応に適した初期化が得られるか？
• RQ4 オンライン適応の性能は、実世界のベンチマークでオフラインバッチ学習されたモデルと比べてどうか？
• RQ5 提案手法は、異なるネットワークアーキテクチャやソースデータセットに対しても一般化可能か？

主な発見

• OMLAは、特に動画シーケンスの後半フレームにおいて、単純なオンライン学習と比較して、適応速度と最終的性能が顕著に向上する。
• OMLAを用いたメタ事前学習により、収束が速く、特に最後の20%のフレームにおいて性能が向上し、長期的適応性の向上が示された。
• OMLAの完全なモデルは、KITTI Eigenテストスプリットにおいて、単純なオンライン学習およびオフラインベースラインを上回り、トレーニング時に実際のKITTIデータを一切見ないままに、競争力のある結果を達成した。
• 本手法は、DispNet や MADNet といった軽量モデルを含む、さまざまなアーキテクチャにおいても優れた性能を示し、一般化性とロバスト性を実証した。
• 定性的な結果から、OMLAの予測は時間経過とともに着実に向上し、数フレームの観測後にはオフラインモデルに近い品質に達することが確認された。
• 追加の勾配計算により推論速度が約20%低下するが、性能の向上を考慮すると、リアルワールド展開において計算コストを上回る利点がある。