[論文レビュー] Improving Robustness of Learning-based Autonomous Steering Using Adversarial Images

Yu Shen, Laura Zheng+4 more|arXiv (Cornell University)|Feb 26, 2021

Adversarial Robustness in Machine Learning参考文献 47被引用数 5

ひとこと要約

本稿では、FID（Fréchet Inception Distance）を用いた画像品質の劣化要因の系統的分析と、進化的探索による劣化パラメータ最適化を通じて、学習ベースの自律走行におけるロバストネスを向上させる、新しい敵対的劣化フレームワークを提案する。この手法により、汚損済みデータ上でのモデル性能が最大48%向上し、雪や霧といった未観測の摂動に対しても一般化可能であり、データ拡張や標準的な敵対的訓練を上回る性能を発揮する。

ABSTRACT

For safety of autonomous driving, vehicles need to be able to drive under various lighting, weather, and visibility conditions in different environments. These external and environmental factors, along with internal factors associated with sensors, can pose significant challenges to perceptual data processing, hence affecting the decision-making and control of the vehicle. In this work, we address this critical issue by introducing a framework for analyzing robustness of the learning algorithm w.r.t varying quality in the image input for autonomous driving. Using the results of sensitivity analysis, we further propose an algorithm to improve the overall performance of the task of "learning to steer". The results show that our approach is able to enhance the learning outcomes up to 48%. A comparative study drawn between our approach and other related techniques, such as data augmentation and adversarial training, confirms the effectiveness of our algorithm as a way to improve the robustness and generalization of neural network training for autonomous driving.

研究の動機と目的

• エンドツーエンドのステアリング学習モデルに及ぼす画像品質の劣化要因（ぼやけ、ノイズ、歪み、色チャネルの変化など）の影響を分析すること。
• 実画像とシミュレート画像の分布差を測定するための統一指標として、Fréchet Inception Distance (FID) を用いた劣化深刻度の系統的測定法の開発。
• 継続的かつスケーラブルな訓練スキームの設計により、クリーンデータの性能を損なわずに敵対的劣化画像を生成し、モデルのロバストネスを向上させること。
• 標準的なベンチマーク手法をはるかに超えて、単一、複合、および未観測の摂動を含む多様なシナリオにおけるロバストネスの評価。
• 今後のロバストネス評価のため、合計220万枚の画像を含む360の摂動付き画像コレクションを含む包括的ベンチマークデータセットの公開。

提案手法

• 本手法は、実画像とシミュレート劣化画像の分布差を測定するために Fréchet Inception Distance (FID) を用い、MA-FID空間における感受性分析を可能にする。
• 画像劣化を、画像属性（例：ぼやけ、ノイズ、歪み、R/G/B/H/S/V）のパラメータ空間として定式化し、FIDを用いて有効な劣化組み合わせの探索を支援する。
• 進化的最適化戦略により、モデルの性能をリアルタイムで最小化するように劣化パラメータを反復的に更新し、モデルに挑戦する敵対的摂動を生成する。
• 訓練プロセスは、実データと敵対的劣化シミュレートデータを交互に使用し、暗黙的な敵対的正則化によってロバストネスを向上させる。
• FIDに基づくパラメータ化により、高次元の劣化空間を離散化し、最適な劣化パターンを効率的かつスケーラブルに探索可能にする。
• YOLOv4を用いたAudiデータセット上での検出タスクへの応用により、タスクへの汎用性と一貫したmAP向上（3–5%）を実証した。

実験結果

リサーチクエスチョン

• RQ1 ぼやけ、ノイズ、歪み、色チャネルの変化といった異なる画像品質属性が、エンドツーエンドのステアリング学習モデルの性能に与える影響は何か？
• RQ2 Fréchet Inception Distance (FID) は、シミュレートされた画像劣化で訓練されたモデルの実世界性能を予測するための信頼性のある指標として機能するか？
• RQ3 敵対的劣化生成は、自律走行における観測済みおよび未観測の画像劣化に対して、どの程度モデルのロバストネスを向上させ得るか？
• RQ4 標準的なデータ拡張や敵対的訓練と比較して、本手法は複数の摂動シナリオにおいて、精度と一般化性能の両面で優れているか？
• RQ5 本フレームワークは、画像ベースのステアリングを越えて、他の学習タスクやセンサーモダリティにも一般化可能か？

主な発見

• 本手法は、複合的な画像摂動を含むデータセット上でテストした際、強力なベースラインと比較して、ステアリング学習タスクにおける平均精度を最大48%向上させる。
• 雪、霧、霜といった未観測の摂動では29%の性能向上を達成し、トレーニング分布を超えた強力な一般化能力を示した。
• YOLOv4を用いた検出タスクでは、平均mAPが3–5%向上し、mCEが3.14–5.18%低下した。
• FIDベースの感受性分析は、シミュレートデータで訓練されたモデルの実世界性能を的確に予測でき、劣化深刻度の統一指標としての有効性を裏付けた。
• フレームワークは、複雑な劣化の組み合わせを含む多様な摂動シナリオにおいて一貫した改善を示し、他のタスクへの汎用性が有効に機能した。
• 著者らは、ImageNet-Cに由来する未観測要因を含む、合計220万枚の画像を含む360の摂動付き画像コレクションを含む包括的ベンチマークデータセットを公開した。