[論文レビュー] Engineering problems in machine learning systems

Hiroshi Kuwajima, Hirotoshi Yasuoka+1 more|arXiv (Cornell University)|Apr 1, 2019

Adversarial Robustness in Machine Learning参考文献 56被引用数 5

ひとこと要約

この論文は、自動運転を含む安全上の重要な機械学習システムにおけるコアな工学的課題を特定・分類している。主な焦点は、要件定義と設計仕様の欠如、解釈可能性、耐性の欠如にある。本論文は、テストデータを要件とし、学習データを設計とみなすことで、帰納的要件からデータ駆動型学習へのフレームワークを提案し、要件定義の不備と低水準の耐性が、SQuAREのような従来の品質モデルを著しく損なうことを明らかにしている。

ABSTRACT

Fatal accidents are a major issue hindering the wide acceptance of safety-critical systems that employ machine learning and deep learning models, such as automated driving vehicles. In order to use machine learning in a safety-critical system, it is necessary to demonstrate the safety and security of the system through engineering processes. However, thus far, no such widely accepted engineering concepts or frameworks have been established for these systems. The key to using a machine learning model in a deductively engineered system is decomposing the data-driven training of machine learning models into requirement, design, and verification, particularly for machine learning models used in safety-critical systems. Simultaneously, open problems and relevant technical fields are not organized in a manner that enables researchers to select a theme and work on it. In this study, we identify, classify, and explore the open problems in engineering (safety-critical) machine learning systems --- that is, in terms of requirement, design, and verification of machine learning models and systems --- as well as discuss related works and research directions, using automated driving vehicles as an example. Our results show that machine learning models are characterized by a lack of requirements specification, lack of design specification, lack of interpretability, and lack of robustness. We also perform a gap analysis on a conventional system quality standard SQuARE with the characteristics of machine learning models to study quality models for machine learning systems. We find that a lack of requirements specification and lack of robustness have the greatest impact on conventional quality models.

研究の動機と目的

• 安全上の重要な機械学習システム、特に自動運転分野における標準化された工学的プロセスの欠如に対処すること。
• 機械学習モデルの要件、設計、検証における未解決問題を特定・分類すること。
• SQuAREのような従来のシステム品質モデルが、要件の欠如や耐性の欠如といった機械学習固有の特性を十分に捉えていない理由を分析すること。
• テストデータと学習データを通じて帰納的要件からデータ駆動型学習へつなげる概念的フレームワークを提案すること。
• 将来的な研究を支援するため、機械学習システムのための標準化された品質モデルと工学的実務を開発すること。

提案手法

• テストデータを要件定義の代理として使用し、学習データを設計仕様として扱う、理想化された訓練プロセスを提案する。
• 機械学習システムにV-Modelの概念を適用し、データを通じて要件から検証へとマッピングする。
• SQuARE品質モデルと機械学習システムの特性との間のギャップ分析を実施し、主要な不一致を同定する。
• 未解決問題を4つのカテゴリーに分類する：要件の欠如、設計の欠如、解釈可能性、耐性。
• 機械学習システムにおけるデータ品質の分析を行い、テストデータ品質（帰納的要件）と学習データ品質（設計仕様）の区別を行う。
• 将来の方向性として、段階的な検証戦略やSQuAREを超えた標準化された品質モデルの開発を提案する。

実験結果

リサーチクエスチョン

• RQ1 機械学習システムにおいて、帰納的要件をどのように意味的にデータ駆動型学習に結びつけることができるか？
• RQ2 安全上の重要なシステムにおける機械学習モデルの要件定義と設計の指定における主な工学的課題は何か？
• RQ3 なぜSQuAREのような従来のシステム品質モデルが、機械学習システムを適切に評価できないのか？
• RQ4 テストデータと学習データの品質が、機械学習システムの信頼性および検証可能性にどのように影響を与えるか？
• RQ5 標準化された評価のための機械学習システムに不可欠な品質特性とメトリクスは何か？

主な発見

• 機械学習モデルは、形式的な要件定義が根本的に欠落していることが特徴であり、トレーサビリティと検証の両方に悪影響を及ぼす。
• 機械学習システムにおける設計仕様の欠如により、モデル開発における一貫性と再現性を確保することが困難になる。
• 解釈可能性と耐性は、特にレアケースや分布外のケースに対処する上で大きな課題である。
• 不確実性や極めて低確率の事象への耐性の欠如—特にこれに起因する—が、SQuAREのような従来の品質モデルに最も深刻な悪影響を及ぼす。
• 事前条件や機能的詳細の要件定義のギャップは、標準的品質モデルの有効性を著しく低下させる。
• 開発データ（テストデータおよび学習データ）は、品質モデルに正式に組み込む必要があり、その品質がシステムの信頼性と検証結果に直接影響を与えるからである。