[論文レビュー] SURE-Val: Safe Urban Relevance Extension and Validation

Kai Storms, Ken Mori+1 more|arXiv (Cornell University)|Aug 4, 2023

Autonomous Vehicle Technology and SafetyEngineering被引用数 3

ひとこと要約

本稿では、都市部の自動運転における周辺認識の関連性基準を拡張・検証する新規手法SURE-Valを提案する。高速道路ベースの関連性フレームワークを都市部のシナリオに適応し、運動予測を用いた検証手法を提案する。もし不要な物体を除外しても大規模なデータセット全体で予測性能が低下しなければ、関連性基準は有効であるとみなされる。本手法は自らの基準を正当化し、実世界の都市部走行環境において堅牢性と解釈可能性を示した。

ABSTRACT

To evaluate perception components of an automated driving system, it is necessary to define the relevant objects. While the urban domain is popular among perception datasets, relevance is insufficiently specified for this domain. Therefore, this work adopts an existing method to define relevance in the highway domain and expands it to the urban domain. While different conceptualizations and definitions of relevance are present in literature, there is a lack of methods to validate these definitions. Therefore, this work presents a novel relevance validation method leveraging a motion prediction component. The validation leverages the idea that removing irrelevant objects should not influence a prediction component which reflects human driving behavior. The influence on the prediction is quantified by considering the statistical distribution of prediction performance across a large-scale dataset. The validation procedure is verified using criteria specifically designed to exclude relevant objects. The validation method is successfully applied to the relevance criteria from this work, thus supporting their validity.

研究の動機と目的

• 高速道路ベースの関連性フレームワークを都市部走行ドメインに拡張すること。
• 自動運転における認識関連性基準の検証手法の不足を解消すること。
• 運動予測を用いてスケーラブルで解釈可能かつ堅牢な関連性基準の検証手法を開発すること。
• 関連性基準が下流の予測性能を損なわないように保証することで、安全性の裏付けをとること。
• 今後の自動運転認識における関連性と検証に関する研究の基盤となるフレームワークを提供すること。

提案手法

• 交差点や追い越し行動を含む都市部シナリオにSACRED手法を拡張する。
• 運動的到達可能性と交通状況に基づく解析的・解釈可能な関連性基準を定義する。
• 下流のコンponentとして運動予測モデルを用い、物体の関連性が与える影響を評価する。
• 大規模データセットにおける予測性能の統計的分布を分析することで、関連性の影響を定量化する。
• 既知の関連対象をフィルタリングすることで性能が低下するかをテストする検証手順を適用し、基準の妥当性を検証する。
• 性能変化の統計的有意性を評価するためにp値のしきい値を用い、予測における確率的ノイズに対して堅牢性を確保する。

実験結果

リサーチクエスチョン

• RQ1 高速道路ドメインの関連性基準を、複雑な都市部走行シナリオに意味的に拡張する方法は何か？
• RQ2 現実世界の安全性要件を反映した形で、認識関連性基準の妥当性を検証するための手法は何か？
• RQ3 不要な物体を除外することで運動予測性能にどの程度の影響が生じるか。この影響は検証信号として利用可能か？
• RQ4 ニューラルネットワークに依存しない分析的関連性モデルは、予測モデルの不確実性に対しても計算効率が良くかつ堅牢に機能できるか？
• RQ5 手動アノテーションやヒューリスティックな妥当性チェックに依存せずに、関連性基準の妥当性をどのように検証できるか？

主な発見

• 提案された都市部シナリオ用の関連性基準は、運動予測に基づく手法によって成功裏に検証され、不要な物体を除外しても有意な性能低下が認められなかった。
• 検証手法は、既知の関連対象（前方に位置する車両）を除外することでテスト入力を偽棄し、明確な性能劣化を引き起こした。
• 多数のシナリオにわたるグローバルな性能分布に依存することで、局所的ノイズや予測の確率的ばらつきに対しても本手法は堅牢性を示した。
• 対象の10%しか関連性基準で除外されなかったことから、安全性を維持しつつも保守的で妥当なフィルタリング手法であることが示された。
• 本手法は計算効率が高く、解釈可能であり、関連性計算に複雑なニューラルネットワークに依存しない。
• 検証フレームワークは一般化可能であり、他の予測モデルやデータセットにも適用可能であるが、多様で危険なシナリオにおけるさらなる検証が必要である。