[論文レビュー] Strategy to Increase the Safety of a DNN-based Perception for HAD Systems

Timo Sämann, Peter Schlicht+1 more|arXiv (Cornell University)|Feb 20, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用数 11

ひとこと要約

本論文は、深層ニューラルネットワーク（DNN）ベースの認識における高自動運転（HAD）システムの安全性を向上させる包括的なフレームワークを提案する。DNNの不備を一般化の欠如、耐性、説明可能性、妥当性、効率性の5つのタイプに分類し、それらを引き継いだ原因と習得した原因に関連付ける。DNN開発ライフサイクル全体にわたり安全対策を導入し、有効性を測る多次元評価指標システムを定義することで、安全性保証事例のベンチマーク化と統計的妥当性の確保を可能にする。

ABSTRACT

Safety is one of the most important development goals for highly automated driving (HAD) systems. This applies in particular to the perception function driven by Deep Neural Networks (DNNs). For these, large parts of the traditional safety processes and requirements are not fully applicable or sufficient. The aim of this paper is to present a framework for the description and mitigation of DNN insufficiencies and the derivation of relevant safety mechanisms to increase the safety of DNNs. To assess the effectiveness of these safety mechanisms, we present a categorization scheme for evaluation metrics.

研究の動機と目的

• 高自動運転（HAD）システムにおけるDNNベースの認識の安全性を確保するという重要な課題に取り組むこと。伝統的な安全手法では対応できない。
• DNNが不安全な行動をとる原因となる、本質的および開発プロセス由来の弱み（不備）を特定・分類すること。
• これらの不備を是正するため、DNN開発ライフサイクル全体を対象とした体系的な安全対策のセットを提案すること。
• 安全対策の有効性を測るための構造的評価指標フレームワークを確立し、安全事例の主張を支援すること。
• 測定可能で追跡可能かつ監査可能な基準を通じて、自動車分野のAI認識分野における産業的導入と標準化を可能にすること。

提案手法

• 入力、内部機能、出力に基づき、DNNの不備を一般化の欠如、耐性、説明可能性、妥当性、効率性の5つのタイプに分類する。
• 自然と育成のアナロジーを用いて、不備の根本的要因を「引き継いだ」（深層学習に本質的に備わっている）と「習得した」（設計および学習の選択による）に分類する。
• データキュレーション、モデルアーキテクチャ設計、学習手順、および後処理技術を含む、DNNライフサイクル全体にわたる安全対策を提案する。
• 効果性を評価するための4段階評価指標システムを導入：予測品質、安全性、効率性、データ品質の指標。
• DNN内部構造（例：不確実性マップ、注目度ヒートマップ）に基づく安全指標を用いて、安全に重要な行動の統計的妥当性を検証する。
• 指標を保証事例フレームワークに統合し、定められた運用条件下での安全目標達成の証拠を提供する。

実験結果

リサーチクエスチョン

• RQ1 HAD認識システムにおけるDNNの不備を、根本的要因にまで遡って体系的に分類・追跡することは可能か？
• RQ2 DNN開発ライフサイクルのどの段階においても、本質的および習得したDNNの弱みを是正するための安全対策は何か？
• RQ3 安全対策の有効性を定量的に測るための評価指標は、どのように定義できるか？
• RQ4 内部DNN表現（例：不確実性マップ）は、統計的に妥当な安全評価を可能にする役割を果たすか？
• RQ5 提案されたフレームワークは、DNNベースのHADシステムの認証および産業的導入に向けた安全事例作成をどのように支援するか？

主な発見

• 本論文は、HAD認識における障害の主な要因である5つの核心的DNN不備—一般化の欠如、耐性、説明可能性、妥当性、効率性—を特定した。
• DNN不備は「引き継いだ」特徴（深層学習に本質的に備わっている）と「習得した」原因（例：アンバランスなデータセット、不良なトポロジー設計）の両方から生じることを確立した。
• データキュレーション、モデル設計、学習、後処理を含む、DNNライフサイクル全体にわたる包括的な安全対策のセットを提案した。
• 評価指標フレームワークには、予測品質、安全性、効率性、データ品質の4つの異なるタイプが含まれており、安全対策の改善効果を測定可能かつ比較可能にしている。
• 内部DNN出力（例：不確実性マップ）に基づく安全指標は、安全に重要な行動の統計的妥当性を検証するために不可欠であるが、現行の実務ではまだ十分に研究が進んでいない。
• 本フレームワークは、産業的標準化および保証事例開発の基盤的戦略を提供しており、今後の研究では指標の洗練と、それらを不備に直接結びつけることへ注力する。