[論文レビュー] Open-World Stereo Video Matching with Deep RNN

Yiran Zhong, Hongdong Li+1 more|arXiv (Cornell University)|Aug 12, 2018

Advanced Vision and Imaging参考文献 19被引用数 9

ひとこと要約

この論文では、教師なしの環境で未確認の環境に継続的に適応できる、2つの畳み込みLSTMブロックを備えた深層再帰ニューラルネットワーク（RNN）であるOpenStereoNetを提案する。モデルは連続するステレオ動画シーケンスを処理し、時間的ダイナミクスから学習し、画像のワープ誤差をリアルタイムで最小化することで、KITTIおよびMiddleburyベンチマークで最先端の精度を達成する。

ABSTRACT

Deep Learning based stereo matching methods have shown great successes and achieved top scores across different benchmarks. However, like most data-driven methods, existing deep stereo matching networks suffer from some well-known drawbacks such as requiring large amount of labeled training data, and that their performances are fundamentally limited by the generalization ability. In this paper, we propose a novel Recurrent Neural Network (RNN) that takes a continuous (possibly previously unseen) stereo video as input, and directly predicts a depth-map at each frame without a pre-training process, and without the need of ground-truth depth-maps as supervision. Thanks to the recurrent nature (provided by two convolutional-LSTM blocks), our network is able to memorize and learn from its past experiences, and modify its inner parameters (network weights) to adapt to previously unseen or unfamiliar environments. This suggests a remarkable generalization ability of the net, making it applicable in an {\em open world} setting. Our method works robustly with changes in scene content, image statistics, and lighting and season conditions {\em etc}. By extensive experiments, we demonstrate that the proposed method seamlessly adapts between different scenarios. Equally important, in terms of the stereo matching accuracy, it outperforms state-of-the-art deep stereo approaches on standard benchmark datasets such as KITTI and Middlebury stereo.

研究の動機と目的

• 未確認のシーンを含む現実世界のオープンワールド環境において、教師あり深層ステレオマッチング手法の限界を克服する。
• 大規模なアノテート済み学習データの必要性を排除することで、教師あり不正解差分マッピングの必要性をなくす。
• ステレオ動画シーケンスにおける時間的整合性を活用し、照明、天候、シーンコンテンツの変化に対する耐性と一般化性能を向上させる。
• 再帰的学習を通じて推論中にネットワーク重みを継続的に適応させる仕組みを提供し、動的環境における生涯学習を模倣する。
• 事前学習やターゲットデータセットへの微調整なしに、標準的なステレオベンチマークで最先端の性能を示す。

提案手法

• 連続するステレオ動画シーケンスをフレーム単位で処理する、深層RNNベースのステレオマッチングネットワークであるOpenStereoNetを提案する。
• 特徴抽出に畳み込み型Feature-Net、差分マッピング予測にMatch-Netを採用し、両者に2つの畳み込みLSTM（cLSTM）ブロックを統合する。
• 特徴抽出とマッチングのボトルネック部にcLSTMモジュールを設け、動画フレーム間の時間的ダイナミクスを符号化・活用する。
• 教師なしで推論中にネットワーク重みを更新することで、リアルタイムでの適応を可能にし、画像ドメインのワープ誤差最小化を用いる。
• 学習と推論を統合的プロセスとして扱い、ネットワークが過去のフレームをリアルタイムで記憶・学習できるようにする。
• エンド・トゥ・エンド最適化を適用し、ワープされた左・右画像間の光度的一致性を自己教師信号として用いる。

実験結果

リサーチクエスチョン

• RQ1 教師なしで、以前に確認したことがないシーンに、ステレオマッチングネットワークが効果的に一般化できるか？
• RQ2 RNNアーキテクチャにおける再帰的学習が、照明、天候、シーンコンテンツの変化に対する耐性をどの程度向上できるか？
• RQ3 畳み込みLSTMブロックの統合が、フレーム単位処理と比較して時間的モデリングをどのように向上させるか？
• RQ4 自己適応型ネットワークは、事前学習や微調整なしに、KITTIやMiddleburyなどの標準ベンチマークで最先端の性能を達成できるか？
• RQ5 本手法は、合成および現実世界のステレオシーケンスにおいて、従来の深層ステレオモデルと比較して、精度と一般化性能でどの程度優れているか？

主な発見

• Middlebury 2005および2006のステレオベンチマークにおいて、OpenStereoNetは優れた性能を発揮し、Aloeデータセットでは4.34%のbad-pixel比、Dollsデータセットでは6.88%を記録し、DispNetやMC-CNNを含むすべてのベースライン手法を上回った。
• Freiburg Sceneflowデータセットでは、MonkaaおよびFlyingThings3Dシーケンスに対して高精度な差分マップを生成し、視覚的に整合性のある再構成画像と低いワープ誤差を達成した。
• 従来の手法（例：DispNet）が失敗する非意味的でテクスチャのないシーンであるランダムドットステレオ（RDS）画像に対しても、OpenStereoNetは優れた耐性を示し、強力なロバストネスを確認した。
• 未確認のデータセットでのオープンワールドテストにおいて、OpenStereoNetは微調整なしに高い精度を維持し、強力なゼロショット一般化能力を示した。
• アブレーションスタディの結果、cLSTMブロックの導入が性能向上に顕著に寄与しており、特に動的シーンや時間的不整合の処理において顕著な改善が得られた。
• KITTIベンチマークにおいて、OpenStereoNetは、推論時に真値差分マップにアクセスできない状況でも、既存の深層ステレオ手法を上回る最先端の結果を達成した。