[論文レビュー] Assuring the Machine Learning Lifecycle: Desiderata, Methods, and Challenges

Rob Ashmore, Radu Călinescu+1 more|arXiv (Cornell University)|May 10, 2019

Adversarial Robustness in Machine Learning参考文献 160被引用数 87

ひとこと要約

MLライフサイクルの保証に関する総合的な調査で、データ管理、モデル学習、検証、デプロイメントの願望事項と手法を詳述し、開かれた課題を概説する。

ABSTRACT

Machine learning has evolved into an enabling technology for a wide range of highly successful applications. The potential for this success to continue and accelerate has placed machine learning (ML) at the top of research, economic and political agendas. Such unprecedented interest is fuelled by a vision of ML applicability extending to healthcare, transportation, defence and other domains of great societal importance. Achieving this vision requires the use of ML in safety-critical applications that demand levels of assurance beyond those needed for current ML applications. Our paper provides a comprehensive survey of the state-of-the-art in the assurance of ML, i.e. in the generation of evidence that ML is sufficiently safe for its intended use. The survey covers the methods capable of providing such evidence at different stages of the machine learning lifecycle, i.e. of the complex, iterative process that starts with the collection of the data used to train an ML component for a system, and ends with the deployment of that component within the system. The paper begins with a systematic presentation of the ML lifecycle and its stages. We then define assurance desiderata for each stage, review existing methods that contribute to achieving these desiderata, and identify open challenges that require further research.

研究の動機と目的

• 機械学習ライフサイクルとその4つの段階（データ管理、モデル学習、モデル検証、モデルデプロイメント）を定義する。
• 各段階で生成されるアーティファクトの保証の要件を特定し、安全性が極めて重要なシステムで信頼できるMLを実現する。
• 各段階の既存の保証手法を検討し、それらの前提、利点、そして制限を議論する。
• ライフサイクル全体を通じて保証エビデンスを取得・検証・統合する際の未解決の課題を明らかにする。

提案手法

• MLライフサイクルとその段階を体系的に定義する。
• 各段階で生成されるアーティファクト（データセット、モデル、検証結果）に対する保証の要件を対応づける。
• 保証に寄与するデータ管理、モデル学習、検証（形式手法を含む）、デプロイメントの手法を調査する。
• 教師あり・教師なし・強化学習の各分野における制限と適用性について議論する。
• さらなる研究開発を要する未解決の課題を特定する。

実験結果

リサーチクエスチョン

• RQ1 安全性が極めて重要なデプロイメントを支えるために、MLライフサイクルの各段階でどのような保証エビデンスが必要か。
• RQ2 データ管理、モデル学習、検証、デプロイメントを横断してこの保証エビデンスを生成・検証するための手法は何か。
• RQ3 MLライフサイクル全体で徹底的な保証を達成する際の主要な課題は何か。

主な発見

• 本論文は4段階からなる構造化されたライフサイクルを提供し、それぞれの段階で保証エビデンスがどのように作成されるべきかを説明している。
• データ管理、モデル学習、検証、デプロイメントに跨る手法を統合し、それらの前提条件と制約を示している。
• 保証の一部として形式的検証、テストベース検証、デプロイ時モニタリングを取り上げている。
• データ品質、入力ドメインの網羅性、リーク、バイアス、敵対的堅牢性などの未解決の課題を特定している。
• この調査は、安全性の高いシステムのために、全ライフサイクル段階の証拠を統合した総合的な保証ケースの必要性を主張している。