[論文レビュー] SAM: Squeeze-and-Mimic Networks for Conditional Visual Driving Policy Learning

Albert Zhao, Tong He+4 more|arXiv (Cornell University)|Dec 6, 2019

Advanced Neural Network Applications参考文献 33被引用数 13

ひとこと要約

本論文は、明示的なサイドタスク予測を必要とせず、セマンティックセグメンテーションやオブジェクトアフォーダンスなどのサイドタスクを活用する条件付きインスティチューションラーニングフレームワーク、SAM（Squeeze-and-Mimic Networks）を提案する。『squeeze』ネットワークを用いてサイドタスクのアノテーションをドライブ制御にマッピングさせ、ドライブ関連の表現を抽出し、その後、その知識を『mimic』ネットワークに distill する。これにより、サイドタスク固有のノイズを回避することで、ロバストネスと一般化性能が向上する。

ABSTRACT

We describe a policy learning approach to map visual inputs to driving controls conditioned on turning command that leverages side tasks on semantics and object affordances via a learned representation trained for driving. To learn this representation, we train a squeeze network to drive using annotations for the side task as input. This representation encodes the driving-relevant information associated with the side task while ideally throwing out side task-relevant but driving-irrelevant nuisances. We then train a mimic network to drive using only images as input and use the squeeze network's latent representation to supervise the mimic network via a mimicking loss. Notably, we do not aim to achieve the side task nor to learn features for it; instead, we aim to learn, via the mimicking loss, a representation of the side task annotations directly useful for driving. We test our approach using the CARLA simulator. In addition, we introduce a more challenging but realistic evaluation protocol that considers a run that reaches the destination successful only if it does not violate common traffic rules. A video summarizing this work is available at https://youtu.be/ipKAMzmJpMs , and code is available at https://github.com/twsq/sam-driving .

研究の動機と目的

• 生の画像入力に伴うノイズに強く、一般化性能に優れたドライブポリシーを学習する課題に対処すること。
• 従来の手法がサイドタスク推定誤差や、サイドタスクとメインタスクの不一致に起因するドライブ関連でない特徴の学習に苦しむという制限を克服すること。
• サイドタスクを解消することを目的とせず、サイドタスクアノテーションからドライブ関連の文脈的表現を抽出するフレームワークを開発すること。
• 推論段階でサイドタスクの真値予測を必要としないように、squeezeネットワークの潜在的特徴を模倣するように訓練されたmimicネットワークを用いて、ポリシーの一般化を向上させること。
• 複数の交通ルール違反（例：赤色信号違反、衝突）をペナルティ処理するより現実的な評価プロトコル「Traffic-school」を導入し、標準的な成功確率メトリクスに比べてベンチマークの信頼性を向上させること。

提案手法

• サイドタスクアノテーション（例：セマンティックセグメンテーション）を直接ドライブ制御にマッピングする『squeeze』ネットワークを訓練し、ドライブに特化した文脈を符号化する表現を学習する。
• squeezeネットワークの隠れ層から深層特徴を抽出する。これらの特徴はドライブパフォーマンスの最適化にのみ従って学習されるため、ドライブに不要なタスク固有の詳細を含まない。
• raw画像から制御出力を予測する『mimic』ネットワークを訓練し、squeezeネットワークの表現と一致する内部特徴を学習するように、模倣損失を用いる。
• 訓練段階で模倣損失を用いてmimicネットワークを監視し、推論段階でサイドタスクアノテーションを一度も見ない状態でドライブ関連の表現を学習可能にする。
• 推論段階でサイドタスクの予測を明示的に行わないことで、推定誤差のリスクを排除する。
• CARLAシミュレータを用いて、複数の交通違反をペナルティ処理する新しいベンチマーク「Traffic-school」を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 推論段階で明示的なサイドタスク予測を必要とせず、サイドタスクアノテーションを活用してドライブポリシーの一般化性能を向上させることは可能か？
• RQ2 サイドタスクを最適化せずに、サイドタスクアノテーションからドライブ関連の表現を学習することは、標準的なインスティチューションラーニングやマルチタスクアプローチに比べ、より高いロバストネスとパフォーマンスをもたらすか？
• RQ3 多様で困難な走行条件下で、提案手法は既存のベースラインと比較して、成功確率および交通ルール遵守度において優れているか？
• RQ4 模倣損失は、サイドタスク固有のノイズを導入せずに、squeezeネットワークからmimicネットワークへドライブ関連の知識を効果的に転送できるか？
• RQ5 Traffic-schoolのようなより現実的な評価プロトコルは、標準的な成功確率メトリクスに比べて、ポリシーの安全性と信頼性をよりよく捉えられるか？

主な発見

• SAMモデルは、Traffic-school評価プロトコル下でCILRSベンチマークにおいて平均63.0 ± 1.0%の成功確率を達成し、元のCILRS手法（61.0 ± 0.7%）を上回り、より高いロバストネスを示した。
• 新しい町/天候設定では、SAMはTraffic-schoolで27.0 ± 3.0%の成功確率を達成し、ベースラインと比較して困難な条件下での一般化性能が向上していることが示された。
• ドライブ関連の文脈とサイドタスク固有のノイズを分離することで、混雑な交通状況や悪天候下の多様なシナリオにおいても一貫した性能を発揮した。
• Traffic-schoolベンチマークは、交通密度が増加しても性能が単調に低下しないことを明らかにした。これは一部のエージェントが車両同士の相互作用から利益を得ている可能性を示しており、複数違反評価の重要性を強調している。
• 著者から公開されたコードを用いたCILRSの再実行では、元の論文と同等の結果が得られた。これにより、ベンチマークおよび提案手法の再現可能性と信頼性が検証された。
• アブレーション実験では、模倣損失がsqueezeネットワークからmimicネットワークへドライブ関連特徴を効果的に転送できており、推論段階でサイドタスクアノテーションにアクセスできない状況でも高い性能を達成できることを示した。