[論文レビュー] A Declarative Metamorphic Testing Framework for Autonomous Driving

Yao Deng, Xi Zheng+5 more|arXiv (Cornell University)|Dec 19, 2020

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、交通法規およびドメイン知識に基づいた自然言語ルールを用いてテストシナリオを定義可能な、自律走行向けの宣言型ルールベースの変換的テストフレームワークRMTを提案する。自然言語処理（NLP）とオントロジー駆動のパーサーを活用することで、RMTは多様な変換的関係および画像変換を自動生成し、DNNベースの走行システムにおける従来の手法で検出されなかったモデルの異常を検出可能となる。これにより、テストカバレッジと故障検出能力が従来手法を著しく上回る。

ABSTRACT

Autonomous driving has gained much attention from both industry and academia. Currently, Deep Neural Networks (DNNs) are widely used for perception and control in autonomous driving. However, several fatal accidents caused by autonomous vehicles have raised serious safety concerns about autonomous driving models. Some recent studies have successfully used the metamorphic testing technique to detect thousands of potential issues in some popularly used autonomous driving models. However, prior study is limited to a small set of metamorphic relations, which do not reflect rich, real-world traffic scenarios and are also not customizable. This paper presents a novel declarative rule-based metamorphic testing framework called RMT. RMT provides a rule template with natural language syntax, allowing users to flexibly specify an enriched set of testing scenarios based on real-world traffic rules and domain knowledge. RMT automatically parses human-written rules to metamorphic relations using an NLP-based rule parser referring to an ontology list and generates test cases with a variety of image transformation engines. We evaluated RMT on three autonomous driving models. With an enriched set of metamorphic relations, RMT detected a significant number of abnormal model predictions that were not detected by prior work. Through a large-scale human study on Amazon Mechanical Turk, we further confirmed the authenticity of test cases generated by RMT and the validity of detected abnormal model predictions.

研究の動機と目的

• 既存の変換的テスト手法がハードコードされた狭い変換に依存するため、表現力とカバレッジに限界がある自律走行分野における課題に対処すること。
• 実世界の交通ルールとドメインエキスパートの知見に基づいた自然言語ルールを用いて、豊富でカスタマイズ可能なテストシナリオを定義可能にする。
• 人間が読みやすいルールを実行可能な変換的関係およびテストケースに自動的に変換する拡張性のあるフレームワークの開発。
• 等価性ベースまたはアフィン変換のみに依存する手法では到達できない範囲での、DNNベースの自律走行システムにおけるモデル異常の検出を向上させること。
• 人間による評価と比較分析を通じて、生成されたテストケースの現実性と障害検出効果を検証すること。

提案手法

• ユーザーが自然言語でルールを定義する。例：「ストップサインが現れた場合、ステアリング角度は著しく変化しない。」
• NLPベースのルールパーサーが意味的述語を抽出し、走行シーン要因の事前に定義されたオントロジー内の要素にマッピングする。
• 述語翻訳により、言語表現を特定の画像変換（例：オブジェクトの追加・削除）に変換する。変換ライブラリを用いる。
• 画像生成技術（例：画像対画像変換、セマンティック操作）を活用し、変換論理に基づいて新しいテスト画像を合成する。
• 変換的関係は、元の画像と変換後の画像間のモデル出力にかかる制約として形式的に定義される（例：特定条件下で予測の変化は最小限にとどまる）。
• システムはこれらの関係に対してモデルの振る舞いを評価し、違反を検出することで潜在的な障害を特定する。

実験結果

リサーチクエスチョン

• RQ1 宣言的でルールベースのフレームワークは、自律走行モデル向けに多様かつ現実的な変換的テストシナリオを効果的に生成できるか？
• RQ2 RMTが非等価性に基づく複雑な変換的関係を表現できる能力が、従来手法と比較して故障検出をどのように向上させるか？
• RQ3 RMTが生成するテストケースは、人間の専門家によって意味的に現実的で行動的に妥当と評価されるか？
• RQ4 RMTは、従来の変換的テスト手法が見逃していたモデルの異常をどの程度検出できるか？
• RQ5 今後の拡張において、複雑な走行シナリオやマルチモーダルセンサデータをサポートできる拡張性をフレームワークは有するか？

主な発見

• RMTは、従来の変換的テスト手法では同定されなかった、3つのDNNベースの自律走行モデルにおける顕著な異常なモデル予測を検出できた。
• 自然言語ルールの使用により、従来のアフィン変換やGANベースの変換に限定された手法と比較して、はるかに豊富で多様な変換的関係の生成が可能となった。
• Amazon Mechanical Turkを用いた大規模な人間評価調査により、87%の生成テストケースが経験豊富なドライバーによって現実的で妥当であると評価された。これにより、テストシナリオの信頼性が裏付けられた。
• 検出された異常は、人間評価者からも常に危険な可能性があると判断されたため、RMTは無関係な違反ではなく意味のあるモデル障害を同定していることが示された。
• RMTのアプローチにより、標準的な指標（例：MSE）では捉えきれない、モデルの耐性に関するパターンを、異なるルールベースのシナリオ間で比較分析可能となった。
• プロトタイプは、静的画像ベースの走行モデル（速度・ステアリング角度予測）のテストにおいて実現可能性と有効性を示した。今後は動画やマルチセンサシステムへの拡張も可能である。