[論文レビュー] CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal Relationships

Rebecca Roelofs, Liting Sun+5 more|arXiv (Cornell University)|Jul 7, 2022

Autonomous Vehicle Technology and Safety被引用数 6

ひとこと要約

本稿では、CausalAgentsを紹介する。これは、Waymo Open Motion Dataset上で人間によるアノテーションにより特定された非因果的エージェント（AVの真値トラジェクトリに影響を及ぼさないもの）を削除することで摂動を加えることにより、運動予測モデルの感度を評価するレジliューションのベンチマークである。主な貢献は、最先端モデルがそのような摂動下で最小ADEが最大38％相対的に増加することを明らかにした点であり、これは誤った相関関係に脆いことを示している。一方、データ拡張や大規模データセットの利用は、レジリエンスの向上に寄与する。

ABSTRACT

As machine learning models become increasingly prevalent in motion forecasting for autonomous vehicles (AVs), it is critical to ensure that model predictions are safe and reliable. However, exhaustively collecting and labeling the data necessary to fully test the long tail of rare and challenging scenarios is difficult and expensive. In this work, we construct a new benchmark for evaluating and improving model robustness by applying perturbations to existing data. Specifically, we conduct an extensive labeling effort to identify causal agents, or agents whose presence influences human drivers' behavior in any format, in the Waymo Open Motion Dataset (WOMD), and we use these labels to perturb the data by deleting non-causal agents from the scene. We evaluate a diverse set of state-of-the-art deep-learning model architectures on our proposed benchmark and find that all models exhibit large shifts under even non-causal perturbation: we observe a 25-38% relative change in minADE as compared to the original. We also investigate techniques to improve model robustness, including increasing the training dataset size and using targeted data augmentations that randomly drop non-causal agents throughout training. Finally, we release the causal agent labels (at https://github.com/google-research/causal-agents) as an additional attribute to WOMD and the robustness benchmarks to aid the community in building more reliable and safe deep-learning models for motion forecasting.

研究の動機と目的

• 自動運転におけるモデルのレジリエンスを評価する課題に取り組むこと、特に収集・ラベリングが困難なレアかつ複雑なシナリオに焦点を当てる。
• 非因果的エージェントの削除によって既存データを摂動させることで、誤った相関関係に対するモデル感度をテストするベンチマークを開発すること。
• 真値トラジェクトリに依存しない新しい指標を用いて、感度評価のためのモデルのレジリエンスを定量化すること。
• データ拡張や訓練データの増加が、非因果的エージェントの削除に対するモデルのレジリエンスを向上させるかどうかを調査すること。
• 今後の研究を支援するため、CausalAgentsのアノテーションをWaymo Open Motion Datasetに拡張された属性としてリリースすること。

提案手法

• 人間のラベルラーがWaymo Open Motion Dataset（WOMD）において因果的エージェントをアノテートし、AVの真値トラジェクトリに影響を及ぼさないエージェントを非因果的エージェントとして定義した。
• 著者らは、非因果的エージェントをすべて削除することで、元のAVの真値トラジェクトリを保持する摂動済みベンチマークを作成した。
• 2つの新しい指標を導入した：(1) minADEの例ごとの絶対変化量を測定する感度指標、(2) 真値トラジェクトリを参照せずにモデル出力のシフトを評価するIoUベースのトラジェクトリ集合指標。
• 最先端モデル（例：Multipath++、SceneTransformer、Wayformer）を、元のデータセットおよび摂動済みデータセットの両方で評価し、性能の変化を測定した。
• 訓練中に非因果的エージェントをランダムにドロップする、ターゲットドデータ拡張戦略を含めた。
• 因果的・非因果的・静止エージェントの削除数を変化させることで、失敗モードを分離してモデルのレジリエンスを分析した。

実験結果

リサーチクエスチョン

• RQ1 最先端の運動予測モデルは、AVの真値トラジェクトリに影響を及ぼさない非因果的エージェントの削除に対してどれほど感度を示すか？
• RQ2 真値に依存しない新しいレジリエンス指標（特にそのような指標）は、摂動に対するモデル感度を効果的に捉えられるか？
• RQ3 訓練データセットのサイズを増やすこと、またはターゲットドデータ拡張（例：非因果的エージェントのドロップ）を適用することで、そのような摂動に対するモデルのレジリエンスは向上するか？
• RQ4 非因果的摂動下でのモデルの脆さの背後にある要因は何か？過学習や文脈エージェントへの過剰依存が寄与しているか？
• RQ5 非因果的エージェントが削除された場合、モデルの予測は道路グラフルールからどれほど逸脱するか、またはモード崩壊を示すか？

主な発見

• 評価されたすべての最先端モデルが、非因果的エージェントの削除によって顕著な性能低下を示し、minADEが元の値に対して25％から38％相対的に増加した。これは、誤った特徴に非常に感受しやすいことを示している。
• 元のデータセットでminADEが最も正確だったモデルが、最もレジリエントだったわけではなく、標準的な性能指標とレジリエンスの間には乖離が存在することが示された。
• 長尾の例では極端な感受性が観察され、一部の例ではminADEの変化が1メートル以上（最大8メートル）に達したが、大多数の例では変化が最小限にとどまった。
• 驚くべきことに、因果的または非因果的エージェントの両方を削除することで、多くのケースでminADEが改善した。これは摂動下で複雑で単調でない挙動を示している可能性を示している。
• 訓練データセットのサイズを増やすこと、および訓練中に非因果的エージェントをランダムにドロップするデータ拡張を適用することで、レジリエンスに顕著な改善が見られ、相対的感受性が低下した。
• 可視化分析から、モデルの失敗はしばしば誤ったモード予測（例：右折モードを逃す）やエージェント削除後の道路グラフルール違反に関連しており、地図情報ではなく文脈エージェントに過剰に依存していることが示された。