[論文レビュー] Self-supervised learning for autonomous vehicles perception: A conciliation between analytical and learning methods

Florent Chiaroni, Mohamed-Cherif Rahal+2 more|arXiv (Cornell University)|Oct 3, 2019

Robotics and Sensor-Based Localization参考文献 73被引用数 18

ひとこと要約

本論文は、自律走行車両の認識のための解析的手法とディープラーニング手法を統合する自己教師あり学習（SSL）フレームワークを提案する。このフレームワークにより、手動ラベルなしでエンドツーエンドの学習が可能となり、空間的・時間的またはマルチセンサデータを活用して擬似ラベル（例：深度、運動、セグメンテーション）を生成する。この手法により、深度推定や障害物検出などのタスクで競争力ある性能を達成し、オンライン適応および自己評価機能を備える。

ABSTRACT

Nowadays, supervised deep learning techniques yield the best state-of-the-art prediction performances for a wide variety of computer vision tasks. However, such supervised techniques generally require a large amount of manually labeled training data. In the context of autonomous vehicles perception, this requirement is critical, as the distribution of sensor data can continuously change and include several unexpected variations. It turns out that a category of learning techniques, referred to as self-supervised learning (SSL), consists of replacing the manual labeling effort by an automatic labeling process. Thanks to their ability to learn on the application time and in varying environments, state-of-the-art SSL techniques provide a valid alternative to supervised learning for a variety of different tasks, including long-range traversable area segmentation, moving obstacle instance segmentation, long-term moving obstacle tracking, or depth map prediction. In this tutorial-style article, we present an overview and a general formalization of the concept of self-supervised learning (SSL) for autonomous vehicles perception. This formalization provides helpful guidelines for developing novel frameworks based on generic SSL principles. Moreover, it enables to point out significant challenges in the design of future SSL systems.

研究の動機と目的

• 自律走行車両の認識のための完全にアノテートされたデータセットの高コストおよび不足問題に対処する。
• 都市部の複雑な高次元的・意味的パターンを扱う際の、純粋な解析的手法の限界を克服する。
• 大規模な教師ありデータに依存することを軽減しつつ、未確認のシナリオに対してもモデルの頑健性を向上させる。
• リアルタイム走行環境におけるオンライン自己評価、自己改善、適応を可能にする。
• ステレオ、時間的シーケンスなどのマルチモーダルセンサデータを統合し、自己教師あり学習のための信頼性の高い擬似ラベルを生成する。

提案手法

• 単一のモノクロナルカメラフレームを入力とし、時間的シーケンスまたはステレオペアからの補助情報を利用して、擬似ラベル（例：深度、セグメンテーション、運動）を生成することで、下流タスク（例：深度、セグメンテーション、運動）を予測する。
• 畳み込みニューラルネットワーク（CNN）やトランスフォーマーなどの学習モデルを用い、単一フレームからのターゲットタスクを予測する。このモデルは、擬似ラベルデータに対する再構成損失または一貫性損失を用いて訓練される。
• 光学フロー、エピポーラ幾何、ステレオトリアングレーションなどの解析的手法を活用し、人為的アノテーションなしで、真のラベルに類似した監視信号を生成する。
• 再投影損失と運動の一貫性を用いて、トレーニング中に動的物体や隠蔽領域をフィルタリングする。
• 継続的な新しいデータの取り込みにより、モデルの更新を継続的に実行することで、新しい環境への適応を可能にするオンライン学習を実装する。
• 解析的ベースラインを用いた自己評価メカニズムを統合し、モデルの不確実性や予測誤差を検出する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習は、人為的アノテーションなしで、自律走行車両の認識タスクに対して完全に教師あり学習に代わることができるか？
• RQ2 解析的手法をどのように体系的にディープラーニングと統合することで、認識システムの頑健性と解釈可能性を向上させることができるか？
• RQ3 SSLフレームワークは、実世界の走行シナリオにおいて、どの程度オンライン適応および自己評価を可能にするか？
• RQ4 動的障害物や深度スケールの曖昧性に対処する際のSSLの限界は何か。それらはどのように軽減できるか？
• RQ5 自律走行車両の認識における継続的オンライン学習において、崩壊的忘却（catastrophic forgetting）をどのように防止できるか？

主な発見

• 自己教師あり学習手法は、深度推定タスクにおいて最先端の性能を達成しており、完全に教師ありモデルと同等の結果を示している。例：KITTIでは[56]* > [47] > [16] > [54] の順に優れている。
• 時間的シーケンスおよびステレオデータに基づくSSLフレームワークは、真のラベルが不要な状態で、深度および運動推定のための正確な擬似ラベルを生成できる。
• エピポーラ幾何や光学フローなどの解析的手法の統合により、トレーニング中に隠蔽領域や移動物体の処理が頑健に行える。
• 解析的ベースラインを用いたオンライン自己評価は実現可能であるが、これらのベースラインにノイズが含まれる場合、信頼性に影響を及ぼす可能性があり、さらなる調査が必要である。
• 崩壊的忘却は継続的学習において依然として課題であるが、段階的学習技術が実用的な解決策を提供する可能性を示している。
• モノクロナナル深度推定におけるスケールの曖昧性は依然として残っているが、メトリックポーズ変換の推定やテンプレートマッチングを用いたスケール回復により、これを克服できる。