[論文レビュー] Towards an MLOps Architecture for XAI in Industrial Applications

Leonhard Faubel, Thomas Woudsma+9 more|arXiv (Cornell University)|Sep 22, 2023

Big Data and Business Intelligence被引用数 5

ひとこと要約

この論文は、産業的機械学習ワークフローに解釈可能AI（XAI）を統合する画期的なMLOpsアーキテクチャを提案しており、エンドツーエンドの説明可能性、フィードバック収集、モデル管理を可能にしている。このアーキテクチャは、産業的ユースケースにおけるEXPLAINプロジェクトで実装されており、MLflow、Seldon Core、Evidentlyといった標準化されたツールを活用して、組み込み型XAIおよびフィードバックメカニズムを備えたモデルライフサイクル管理を簡素化し、非技術的ステークホルダーの信頼と透明性を高めている。

ABSTRACT

Machine learning (ML) has become a popular tool in the industrial sector as it helps to improve operations, increase efficiency, and reduce costs. However, deploying and managing ML models in production environments can be complex. This is where Machine Learning Operations (MLOps) comes in. MLOps aims to streamline this deployment and management process. One of the remaining MLOps challenges is the need for explanations. These explanations are essential for understanding how ML models reason, which is key to trust and acceptance. Better identification of errors and improved model accuracy are only two resulting advantages. An often neglected fact is that deployed models are bypassed in practice when accuracy and especially explainability do not meet user expectations. We developed a novel MLOps software architecture to address the challenge of integrating explanations and feedback capabilities into the ML development and deployment processes. In the project EXPLAIN, our architecture is implemented in a series of industrial use cases. The proposed MLOps software architecture has several advantages. It provides an efficient way to manage ML models in production environments. Further, it allows for integrating explanations into the development and deployment processes.

研究の動機と目的

• 説明可能性およびステークホルダーのフィードバックをネイティブにサポートしない産業的MLOpsソリューションのギャップを埋める。
• 機械学習の専門知識を持たないドメインエキスパートが、モデル開発、デプロイ、検証に積極的に参加できるようにする。
• 産業的応用に適した、XAIツールおよびフィードバックループをネイティブに統合したスケーラブルでモジュラーなMLOpsスタックを構築する。
• データドリフト、コンセプトドリフト、予測品質の継続的モニタリングにより、モデルの信頼性を確保する。
• モデル意思決定の透明性とインタラクティブ性を高めることで、技術的MLチームと産業的実務家との溝を埋える。

提案手法

• 産業プロジェクトの要件および実際のデプロイ制約に基づいたモジュラーMLOpsアーキテクチャを設計する。
• H2O、IBM AI Explainability 360、およびカスタム解釈ツールなどのXAIツールを、モデルトレーニングおよびサービングパイプラインに統合する。
• MLflowを活用して実験の追跡、モデルおよび説明のバージョニング、モデルレジストリの管理を行う。
• Kubernetes上にSeldon Coreをデプロイして、スケーラブルで生産用途に適した推論を実現し、説明可能性をサポートする。
• EvidentlyおよびGrafanaを用いてデータモニタリングを実装し、リアルタイムでデータドリフトおよびコンセプトドリフトを検出する。
• DjangoベースのプロトタイプフィードバックGUIを開発し、予測のラベリングおよび修正を可能にし、今後は最先端の画像固有の解釈ツールを統合する予定である。

Figure 1: Adopted explain life cycle from [ 14 ] .

実験結果

リサーチクエスチョン

• RQ1 産業的機械学習デプロイで、MLOpsをどのように拡張して、ネイティブな説明可能性とフィードバックをサポートできるか。
• RQ2 非技術的ドメインエキスパートが、機械学習モデル開発および推論に理解し、貢献できるようにするためのアーキテクチャ的要因は何か。
• RQ3 統合されたMLOpsおよびXAIパイプライン内で、データドリフトおよびコンセプトドリフトをどのように検出し、管理できるか。
• RQ4 MLflowやSeldon Coreといった標準化されたツールが、スケーラブルでバージョニング可能かつ説明可能なモデル管理をどのように実現するか。
• RQ5 ドメインエキスパートからのフィードバックをどのように体系的に収集し、モデル改善サイクルに統合できるか。

主な発見

• 提案されたMLOpsアーキテクチャは、産業的環境においてXAIをMLライフサイクル全体に統合し、透明性とステークホルダー参加を実現した。
• MLflowによるモデルおよび説明のバージョニングは、モデル意思決定の再現性および監査可能性を可能にした。
• EvidentlyおよびGrafanaを用いたデータおよびコンセプトドリフトの監視は、能動的なモデルメンテナンスを支援し、効果的であった。
• 画像データのラベリングおよび修正を可能にするプロトタイプフィードバックGUIが実装されたが、今後は最先端の画像解釈ツールを統合する計画である。
• Seldon Coreによるモデルサービングにより、水平スケーリングが可能となり、推論時における説明可能性の統合が実現した。
• 進展は見られたが、自動再トレーニング、アラート機能、完全なフィードバックループ統合はまだ未発達であり、今後の研究の主要な分野として特定された。

Figure 2: EXPLAIN MLOps Software Architecture in five domains and eight components. Major XAI functionality in bold , but it is not limited to only those components.