[論文レビュー] On The Reliability Of Machine Learning Applications In Manufacturing Environments

Nicolas Jourdan, Sagar Sen+4 more|arXiv (Cornell University)|Dec 13, 2021

Air Quality Monitoring and Forecasting被引用数 8

ひとこと要約

本論文は、産業製造環境における機械学習（ML）モデルの長期的信頼性を調査し、コンセプトドリフトおよびセンサードリフトが時間経過とともにモデルの精度と信頼性のキャリブレーションを著しく低下させることを示している。アンサンブル手法（たとえばランダムフォレスト）はドリフト下でも優れた信頼性キャリブレーションを維持するため、継続的学習システムにおけるオンライン性能監視およびドリフト検出に有望である。

ABSTRACT

The increasing deployment of advanced digital technologies such as Internet of Things (IoT) devices and Cyber-Physical Systems (CPS) in industrial environments is enabling the productive use of machine learning (ML) algorithms in the manufacturing domain. As ML applications transcend from research to productive use in real-world industrial environments, the question of reliability arises. Since the majority of ML models are trained and evaluated on static datasets, continuous online monitoring of their performance is required to build reliable systems. Furthermore, concept and sensor drift can lead to degrading accuracy of the algorithm over time, thus compromising safety, acceptance and economics if undetected and not properly addressed. In this work, we exemplarily highlight the severity of the issue on a publicly available industrial dataset which was recorded over the course of 36 months and explain possible sources of drift. We assess the robustness of ML algorithms commonly used in manufacturing and show, that the accuracy strongly declines with increasing drift for all tested algorithms. We further investigate how uncertainty estimation may be leveraged for online performance estimation as well as drift detection as a first step towards continually learning applications. The results indicate, that ensemble algorithms like random forests show the least decay of confidence calibration under drift.

研究の動機と目的

• コンセプトドリフトおよびセンサードリフトの影響を受ける実世界の産業的環境におけるMLモデルの長期的信頼性を評価すること。
• SVM、ランダムフォレスト、ニューラルネットワークなどの一般的に使用されるMLアルゴリズムが、時間依存のデータドリフト下でどの程度の耐性を示すかを評価すること。
• 不確実性推定技術が、製造業の応用におけるオンライン性能推定およびドリフト検出にどのように活用できるかを調査すること。
• 産業的CPSおよびIoTシステムにおける分布シフトに対して耐性が高いモデルの特徴を特定すること。
• 生産的製造環境における信頼性があり継続的に学習するMLシステムを導入するための実用的ガイダンスを提供すること。

提案手法

• 36か月にわたり産業環境のガスセンサアレイから収集した実世界の工業的データセットを用い、長期的な運用を模擬した。
• SVM、ランダムフォレスト、ニューラルネットワークなど複数のMLアルゴリズムを、静的トレーニングデータで学習させ、徐々にドリフトが生じたテストセットで性能を評価した。
• 信頼性とキャリブレーションの耐性を評価するため、モデルの精度、信頼度スコア、期待キャリブレーション誤差（ECE）を測定した。
• 信頼性キャリブレーションの主な指標としてECEを採用した。これは実装の容易さと解釈可能性の高さから選択された。
• 異なるランダムシードを用いて10回の繰り返し実験を行い、統計的安定性を確保し、平均値と標準偏差を報告した。
• 継続的学習パイプラインにおけるドリフト検出および再訓練のトリガーとして、信頼度スコアを活用した。特に、明示的なオンライン監視ができないシステムに特に有効である。

実験結果

リサーチクエスチョン

• RQ1 製造業における一般的なMLアルゴリズムは、長期にわたりコンセプトドリフトおよびセンサードリフトの影響を受けるとどのように動作するか？
• RQ2 実世界のデータドリフト下で、モデルの信頼性キャリブレーションはどの程度劣化するのか？また、性能低下の指標として使用できるか？
• RQ3 どのMLアルゴリズムがドリフト下でも最も信頼性の高い信頼性キャリブレーションを示すのか？その理由は何か？
• RQ4 ECEのような不確実性推定技術は、産業的MLシステムにおけるオンライン性能監視およびドリフト検出に効果的に活用できるか？
• RQ5 動的なデータ分布を伴う実際の製造環境における継続的学習システムの導入に、どのような実用的意味合いがあるか？

主な発見

• SVM、ランダムフォレスト、ニューラルネットワークを含む、全テストMLアルゴリズムが36か月の期間を通じてドリフトが進行するにつれて顕著な性能低下を示した。
• ドリフトに伴い、特にランダムフォレストにおいて信頼度が著しく低下した。これは、信頼度スコアが性能低下の早期兆候として機能できることを示唆している。
• すべてのモデルにおいて、ドリフトしたデータ上での期待キャリブレーション誤差（ECE）が顕著に増加した。これは、分布内データにおける信頼性キャリブレーションの結果が、分布外データでは信頼できないことを示している。
• ランダムフォレストは、他のモデルと比較してドリフト下でも最も信頼性の高い信頼性キャリブレーションを示し、ECEの増加幅が最小であった。これは、動的環境下での信頼性に優れていることを示唆している。
• 繰り返し実験におけるECEの標準偏差は、ドリフトしたデータ上では上昇しており、ドリフトの影響が一貫的ではなく、特定のドリフトパターンや大きさに依存することを示している。
• 結果から、特にランダムフォレストのようなアンサンブル手法からの信頼度を、継続的学習パイプラインにおけるオンライン監視、データ収集、再訓練のトリガーとして活用することが支持される。