[論文レビュー] Certification of embedded systems based on Machine Learning: A survey

Guillaume Vidot, Christophe Gabreau+2 more|arXiv (Cornell University)|Jun 14, 2021

Adversarial Robustness in Machine Learning参考文献 63被引用数 10

ひとこと要約

本調査は、民事航空分野における機械学習（ML）ベースの埋め込みシステムの認証における課題を調査し、耐性性と説明可能性を、規制適合を実現するための重要な要因として焦点を当てる。ブラックボックス性と予測不能性に起因するMLモデルの性質に対処するため、最新の技術—特に adversarial robustness と SHAP や DeepLIFT といった特徴重要度手法—を評価し、形式的検証と説明可能性を、安全で重要な環境における認証可能なMLシステムへの道筋として提案する。

ABSTRACT

Advances in machine learning (ML) open the way to innovating functions in the avionic domain, such as navigation/surveillance assistance (e.g. vision-based navigation, obstacle sensing, virtual sensing), speechto-text applications, autonomous flight, predictive maintenance or cockpit assistance. Current certification standards and practices, which were defined and refined decades over decades with classical programming in mind, do not however support this new development paradigm. This article provides an overview of the main challenges raised by the use ML in the demonstration of compliance with regulation requirements, and a survey of literature relevant to these challenges, with particular focus on the issues of robustness and explainability of ML results.

研究の動機と目的

• 伝統的な要件指向型およびモデル指向型の開発パラダイムが不十分である安全で重要な航空機システムにおける、機械学習（ML）ベースのソフトウェアの認証ニーズの増大に応えること。
• データ駆動型のモデル行動に起因する、明示性・トレーサビリティ・耐性性の欠如といった、MLに起因する認証の主な課題を特定すること。
• DO-178C などの航空機認証基準への適合を支援する可能性を評価するため、adversarial robustness と説明可能性に関する既存の研究を検討すること。
• 視覚ベースのナビゲーションや予測保全といった実世界の航空機機能に関連する核心的な課題を扱いながら、スコープを制限するため、オフラインの教師あり学習に焦点を当てる。
• 現在の手法におけるギャップを特定し、形式的検証と説明可能なAIを認証可能なMLシステムの不可欠な要素として提唱することで、今後の研究の基盤を提供すること。

提案手法

• 航空機基準（DO-178C、DO-254）と規制適合を重視した、安全で重要なシステムにおけるML認証に関する文献を調査した。
• adversarial robustness の技術を分類・分析し、adversarial training や形式的検証法（摂動下でのモデル動作の数学的証明）を含む、摂動に対するモデル動作の証明手法を評価した。
• 協力的ゲーム理論に基づく SHAP（SHapley Additive exPlanations）を用いたグローバルな説明手法をレビューし、モデル予測に対する特徴の重要度を割り当てる。
• DNN特有の手法として、入力活性の変化を基準リファレンスと比較してバックプロパゲーションにより特徴寄与度を計算する DeepLIFT を評価した。
• 因果モデル化手法（例：npsem）と部分的依存プロットを活用し、入力のトレンドがモデル出力に与える影響を可視化することで、単なる特徴影響を超えたモデル行動の理解を深めた。
• 認証文脈における信頼性と監査可能性を支援するため、モデルに依存しないおよびDNN特有の説明手法に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型の行動とトレーサビリティの欠如を特徴とする機械学習の固有の性質が、航空機分野における伝統的な認証プロセスにどのような課題をもたらすのか。
• RQ2 実世界のフライト環境で一般的に見られる入力摂動に対して、adversarial robustness 手法がMLベースのシステムの安全性と信頼性をどの程度確保できるのか。
• RQ3 SHAP や DeepLIFT といった説明可能手法が、DO-178C が求める検証可能性と監査可能性を満たすために十分な透明性を提供できるか。
• RQ4 形式的検証が、安全で重要なシステムにおけるMLコンponentの認証において、実験的テストの代替または補完として果たす役割は何か。
• RQ5 現在の説明可能手法と耐性性技術は、民間航空分野における埋め込みMLシステムの産業的認証ワークフローに統合できるほど成熟しているか。

主な発見

• adversarial robustness 手法、特に adversarial training と形式的検証は、入力摂動下でのモデル信頼性を確保する上で強く有望な可能性を示しており、安全で重要な懸念に直接的に対応している。
• SHAP やその他のモデルに依存しない説明手法は、Shapley 値を活用することで、公平かつ一貫性のある特徴重要度スコアを提供し、モデル意思決定の理解を向上させる。
• DeepLIFT は、基準リファレンスからの活性化差を測定することで、DNN特有の特徴寄与度のアプローチを提供し、予測の解釈可能で一貫性のある説明を可能にする。
• npsem などの因果モデル化手法と部分的依存プロットを組み合わせることで、単なる特徴影響を超えた入力-出力トレンドの可視化が可能となり、モデル行動のより深い洞察が得られる。
• 形式的検証法は、正しさの数学的証明を提供するため、高価で不完全な実験的テストへの依存を減らす点で、特に認証において有望である。
• 進展は見られるが、特にリアルタイムで安全で重要な環境にデプロイされる際の、説明可能および耐性性技術を産業規模のMLモデルにスケーリングする課題は依然として残っている。