[論文レビュー] A Performance-Explainability Framework to Benchmark Machine Learning Methods: Application to Multivariate Time Series Classifiers

Kevin Fauvel, Véronique Masson+1 more|arXiv (Cornell University)|May 29, 2020

Explainable Artificial Intelligence (XAI)被引用数 8

ひとこと要約

本論文は、多変量時系列（MTS）分類器の性能と説明可能性をベンチマークするためのパフォーマンス説明可能性フレームワークを提案する。性能、説明可能性の特徴（例：忠実性、理解可能性、粒度）を評価し、MLSTM-FCNにSHAPを適用した手法が優れた性能と広範な説明粒度を達成しているが、そのサーロウトベースの説明は不完全であることが判明。これは、高パフォーマンスと忠実で情報豊富な説明を両立する新しいモデルの開発の必要性を示唆している。

ABSTRACT

Our research aims to propose a new performance-explainability analytical framework to assess and benchmark machine learning methods. The framework details a set of characteristics that systematize the performance-explainability assessment of existing machine learning methods. In order to illustrate the use of the framework, we apply it to benchmark the current state-of-the-art multivariate time series classifiers.

研究の動機と目的

• 機械学習手法における性能と説明可能性の両方を評価するための標準化されたフレームワークの欠如に対処すること。
• 忠実性、理解可能性、説明粒度などの測定可能な特徴を定義することで、説明可能性の評価を体系化すること。
• 本フレームワークを用いて最先端のMTS分類器をベンチマークし、強み・弱み・研究ギャップを特定すること。
• 高パフォーマンスを達成しつつ、忠実で情報豊かでユーザーがアクセス可能な説明を提供する新しいMTS分類器の設計を支援すること。
• 医療や自然災害モニタリングなどの分野における、規制要件や応用指向の説明可能なAIのニーズを支援すること。

提案手法

• フレームワークは、次の説明可能性特徴を定義する：パフォーマンス（相対的精度）、忠実性（説明がモデル意思決定をどれほど正確に反映しているか）、理解可能性（モデルの透明性、例：ホワイトボックス対ブラックボックス）、粒度（局所的またはグローバルな説明）、情報種別（説明される情報の種類、例：特徴量、時間窓）、およびユーザー（説明の対象となる利用者層）。
• フレームワークは35個の公開MTSデータセットに適用され、最先端の分類器（DTW I、MLSTM-FCN、WEASEL+MUSE）を比較対象とする。
• ブラックボックスモデル（MLSTM-FCN、WEASEL+MUSE）に対しては、SHAPを用いた事後的モデルに依存しない説明手法を用い、特徴量および時間軸に基づく説明を生成する。
• 説明は、忠実性（完全 vs. 不完全）、理解可能性（ホワイトボックス vs. ブラックボックス）、情報内容（例：特徴量のみ vs. 時系列）に基づいて評価される。
• フレームワークにより、モデル間での比較的評価が可能となり、パフォーマンスと説明可能性の質のトレードオフを特定できる。
• フレームワークは拡張可能であり、メモリや実行時間などの実装要因によって制限されない。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルにおけるパフォーマンスと説明可能性を評価するための標準化された特性のセットをどのように定義できるか？
• RQ2 多変量時系列分類器において、予測性能と説明品質の間にはどのような主要なトレードオフがあるか？
• RQ3 SHAPなどの異なる説明手法が、ブラックボックスモデルにおける説明の忠実性と理解可能性にどのように影響を与えるか？
• RQ4 どのMTS分類器がドメインエキスパートにとって最も情報豊かで信頼性のある説明を提供するか？
• RQ5 高パフォーマンスと忠実で包括的な説明を両立する新しいMTS分類器の開発を導くべき設計原則は何か？

主な発見

• MLSTM-FCNは、35個の公開データセットにおいて、WEASEL+MUSEおよびDTW Iよりも平均精度が優れていることから、評価されたMTS分類器の中で最高のパフォーマンスを達成している。
• DTW Iはホワイトボックスモデルであり、忠実性が完全で、局所的粒度を有しており、ドメインエキスパートにとって理解可能で信頼性のある説明を提供している。
• MLSTM-FCNにSHAPを適用した場合、DTW Iと同等の説明情報内容（特徴量および時間）と完全な粒度（局所的およびグローバル）を達成しているが、サーロウトモデルアプローチのため忠実性が不完全である。
• WEASEL+MUSEにSHAPを適用した場合、MLSTM-FCNにSHAPを適用した場合と同等の説明品質を提供するが、全体的なパフォーマンスが低いため、実用的には好ましくない。
• フレームワークにより、現在の最先端モデルでは、特徴量・時間貢献を超えて高忠実性かつ情報豊富な説明を提供するものが不足していることが判明し、研究ギャップが明らかになった。
• 最近提案されたMTS分類器XEMは、最高のパフォーマンスと高い忠実性を達成しており、判別的時間窓（情報：ユニバーシャルシーケンス）を特定しているが、説明は依然として局所的粒度に限定されており、マルチシーケンスパターン検出を統合することで向上が可能である。