[論文レビュー] White Paper Machine Learning in Certified Systems

Hervé Delseny, Christophe Gabreau+26 more|arXiv (Cornell University)|Mar 18, 2021

Adversarial Robustness in Machine Learning参考文献 118被引用数 17

ひとこと要約

このホワイトペーパーは、航空宇宙などの安全が重要な分野における機械学習（ML）の統合を、信頼性、検証、認証に関する主な課題を特定することで調査する。本稿は、これらの障壁を克服するための特化したML技術、工学的実践、認証フレームワークを提案し、厳密な手法とツールキットの支援のもとでMLは安全に認証済みシステムに統合可能であることを示している。

ABSTRACT

Machine Learning (ML) seems to be one of the most promising solution to automate partially or completely some of the complex tasks currently realized by humans, such as driving vehicles, recognizing voice, etc. It is also an opportunity to implement and embed new capabilities out of the reach of classical implementation techniques. However, ML techniques introduce new potential risks. Therefore, they have only been applied in systems where their benefits are considered worth the increase of risk. In practice, ML techniques raise multiple challenges that could prevent their use in systems submitted to certification constraints. But what are the actual challenges? Can they be overcome by selecting appropriate ML techniques, or by adopting new engineering or certification practices? These are some of the questions addressed by the ML Certification 3 Workgroup (WG) set-up by the Institut de Recherche Technologique Saint Exupéry de Toulouse (IRT), as part of the DEEL Project.

研究の動機と目的

• 認証済みシステム、特に航空宇宙などの安全が重要な分野における機械学習の導入を妨げる主な課題を特定すること。
• 適切なML技術、工学的実践、または認証手順の選定により、これらの課題が軽減可能かどうかを評価すること。
• 形式的な認証プロセスに従うシステムへのML統合の包括的なフレームワークと提言を提供すること。
• 構造的な研究と協働を通じて、規制環境における信頼性があり認証可能なAIの実現を支援するDEELプロジェクトの目標を支援すること。

提案手法

• 透明性、検証可能性、再現可能性に基づいて、安全が重要な認証に適したML技術の適合性を評価するため、既存のML技術を体系的に分析する。
• データ管理、モデル検証、テスト手順を含む、認証済みシステムにおけるML開発に特化した工学的実践のセットを定義する。
• 航空分野の規格であるDO-178Cに準拠した、MLライフサイクル活動と規制基準を整合させる認証パスを提案する。
• 耐性、公平性、説明可能性に焦点を当てた、MLリスクと対策の分類体系を導入する。
• 技術的提言が現実の認証要件と一致するように、業界および規制関係者と協働する。
• ケーススタディと専門家の合意を活用して、異なるアプリケーション分野にわたる提案フレームワークの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 安全が重要な環境における機械学習システムの認証を妨げる主な技術的および規制的課題は何か？
• RQ2 解釈可能性、決定論的特性、検証可能性の観点から、認証に最も適した機械学習技術は何か？
• RQ3 MLコンponentsのライフサイクル全体にわたり信頼性とトレーサビリティを確保するために、工学的実践はどのように適合されるべきか？
• RQ4 機械学習ベースのシステムを対象とするために、既存の認証基準にどのような変更が必要か？
• RQ5 安全とコンプライアンスを維持しながら、MLコンponentsの認証を支援する構造的なフレームワークを確立できるか？

主な発見

• 特に深層学習のような現在の多くのML技術は、透明性と決定論的特性の欠如により、認証に大きな課題をもたらす。
• 意思決定木、線形モデル、記号的システムなどの単純で解釈可能なモデルは、認証要件との適合性がより高い。
• 厳密なデータ管理、モデル検証、テストプロトコルの支援があれば、MLを認証済みシステムに統合することは可能である。
• 認証当局は、DO-178Cのような既存の基準を、MLに特化した開発および検証活動を追加することで拡張可能である。
• 再現性と監査可能性を確保するため、学習、検証、デプロイメントの段階を明確に分離することが不可欠である。
• 業界、規制当局、研究者とのステークホルダーコラボレーションは、MLコンponentsの実用的な認証パスを確立するために不可欠である。