[論文レビュー] Improving Generalization of Transfer Learning Across Domains Using Spatio-Temporal Features in Autonomous Driving

Shivam Akhauri, Laura Zheng+2 more|arXiv (Cornell University)|Mar 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 9

ひとこと要約

本論文は、CNN-LSTMアーキテクチャを介して空間的・時系列的特徴を転送することで、クロスドメイン一般化を向上させる二段階の転移学習フレームワークを提案している。さらに、注目度マップ、勾配マップ、エッジマップを用いた訓練の強化により、シミュレーションおよび実世界の未学習ドメインにおいて、SOTAベースラインと比較して最高で37.3%高いテスト精度と40.8%優れたステアリング角度予測を達成している。

ABSTRACT

Practical learning-based autonomous driving models must be capable of generalizing learned behaviors from simulated to real domains, and from training data to unseen domains with unusual image properties. In this paper, we investigate transfer learning methods that achieve robustness to domain shifts by taking advantage of the invariance of spatio-temporal features across domains. In this paper, we propose a transfer learning method to improve generalization across domains via transfer of spatio-temporal features and salient data augmentation. Our model uses a CNN-LSTM network with Inception modules for image feature extraction. Our method runs in two phases: Phase 1 involves training on source domain data, while Phase 2 performs training on target domain data that has been supplemented by feature maps generated using the Phase 1 model. Our model significantly improves performance in unseen test cases for both simulation-to-simulation transfer as well as simulation-to-real transfer by up to +37.3\% in test accuracy and up to +40.8\% in steering angle prediction, compared to other SOTA methods across multiple datasets.

研究の動機と目的

• ドメインシフトの課題に、ドメイン間で不変な空間的・時系列的特徴を活用することで対処する。
• 視覚的分布が顕著に異なるシミュレーションから実世界のドライブシナリオへの一般化を向上させる。
• 注目度、勾配、エッジマップを用いたデータレベルの拡張とモデルレベルの特徴転送を組み合わせることで、転移学習のパフォーマンスを向上させる。
• 空間的特徴のみに比べ、空間的・時系列的ダイナミクスがドメインに依存しにくく、より優れた転送可能性を示すことを示す。
• 異なるデータセットを用いた衝突分類およびエンドツーエンドステアリング予測タスクの両方で、本手法を評価する。

提案手法

• 第1段階では、ソースドメインデータ（例：CARLA Town 3）を用いてCNN-LSTMモデルを学習し、空間的および時系列的特徴を抽出する。
• 第1段階のモデルから、多様なデータセットで事前に訓練された分類器を用いて注目度マップ、勾配マップ、エッジマップを抽出する。
• 第2段階では、第1段階で得たCNN重みとLSTM隠れ状態埋め込みを用いて、ターゲットドメインモデルを初期化する。
• 生成された注目度マップを用いてターゲットドメインの訓練データを拡張し、特徴表現と一般化性能を向上させる。
• データ拡張の過程で、関連する空間的・時系列的特徴の選択をコサイン類似度で誘導する。
• 拡張された入力を用いて、ターゲットデータ上でエンドツーエンドに第2段階のモデルを訓練し、未学習ドメインへの頑健な適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つのドメインで学習した空間的・時系列的特徴を、視覚的分布の違いがある異なるドメインに効果的に転送できるか？
• RQ2 モデルレベルの転送（CNN重みとLSTM隠れ状態）とデータレベルの拡張（注目度、勾配、エッジマップ）を組み合わせることで、自動運転における一般化性能にどのような影響を与えるか？
• RQ3 空間的特徴のみに比べ、空間的・時系列的特徴が低類似ドメイン（例：シミュレーションから実世界）における転送性能をどの程度向上させるか？
• RQ4 注目度の高いデータ拡張を組み込むことで、エンドツーエンドドライブモデルの転移学習における収束性と頑健性が向上するか？
• RQ5 本手法は、シミュレーションからシミュレーションおよびシミュレーションから実世界への転移設定において、SOTAの転移学習手法と比較してどのように差をつけるか？

主な発見

• 本手法は、SOTA手法と比較して、未学習のシミュレーションドメインにおいて最高で37.3%高いテスト精度を達成した。
• エンドツーエンドステアリング予測において、シミュレーションからシミュレーションの設定では誤差が最大40.8%低減され、シミュレーションから実世界の設定では23.7%低減された。
• CNN重みとLSTM隠れ状態の両方を転送することで、単独での転送よりも収束が速く、パフォーマンスが優れた。
• 注目度、勾配、エッジマップの拡張は、モデル単体の転送では不十分な低類似ドメイン（例：シミュレーションから実世界）における一般化性能を顕著に向上させた。
• アブレーションスタディの結果、アーキテクチャレベルの空間的・時系列的特徴転送とデータレベルの拡張が、それぞれ独立してかつ相乗的にパフォーマンス向上に寄与していることが確認された。
• 本手法は、CARLA、DeepDrive、Udacity、Audi、Waymo、Hondaを含む多様なデータセットにおいても良好な一般化性能を示し、ドメインシフトに対して頑健であることが実証された。