[論文レビュー] Supervised Local Modeling for Interpretability.

Gregory Plumb, Denali Molitor+1 more|arXiv (Cornell University)|Jul 9, 2018

Explainable Artificial Intelligence (XAI)参考文献 14被引用数 3

ひとこと要約

SLIMは、局所線形モデリングとランダムフォレストの二重解釈を組み合わせることで、高い予測精度と忠実で多層的な説明を提供する、新たな解釈可能な機械学習モデルである。予測精度が高く、例に基づく局所的・グローバルな説明を提供することで、精度と解釈可能性のトレードオフを効果的に解消する。

ABSTRACT

Model interpretability is an increasingly important component of practical machine learning. Some of the most common forms of interpretability systems are example-based, local, and global explanations. One of the main challenges in interpretability is designing explanation systems that can capture aspects of each of these explanation types, in order to develop a more thorough understanding of the model. We address this challenge in a novel model called SLIM that uses local linear modeling techniques along with a dual interpretation of random forests (both as a supervised neighborhood approach and as a feature selection method). SLIM has two fundamental advantages over existing interpretability systems. First, while it is effective as a black-box explanation system, SLIM itself is a highly accurate predictive model that provides faithful self explanations, and thus sidesteps the typical accuracy-interpretability trade-off. Second, SLIM provides both example- based and local explanations and can detect global patterns, which allows it to diagnose limitations in its local explanations.

研究の動機と目的

• 予測精度を犠牲にせずに、例に基づく、局所的、グローバルな説明を統合する解釈可能な機械学習モデルを構築する挑戦に応えること。
• モデルの精度と解釈可能性の間の一般的なトレードオフを克服し、高精度かつ自己説明可能なモデルを設計すること。
• データの背後にあるグローバルなパターンを検出することで、局所的説明の限界を診断できるようにすること。
• ランダムフォレストの二つの視点（近傍選択と特徴量選択）を統合し、一貫性のある解釈可能性フレームワークを構築すること。

提案手法

• SLIMは、予測インスタンスの近傍で線形モデルをフィットさせることで、局所的説明を生成する局所線形モデリングを採用する。
• ランダムフォレストを、教師ありの近傍選択メカニズムおよび特徴量選択手法として用い、局所的説明に必要な関連する特徴量を同定する。
• ランダムフォレストの近接構造を活用して、入力インスタンスの周囲の局所的近傍を定義し、局所的解釈を可能にする。
• 特徴量選択は、ランダムフォレストから得られる変数の重要度スコアを用い、局所線形モデルの制約に利用する。
• これらの要素を統合することで、高い精度を維持しながら忠実で解釈可能な出力を提供する単一の予測モデルを構築する。
• ランダムフォレストの二重的利用により、特徴量の重要度およびデータ構造におけるグローバルパターンを検出でき、局所的説明の整合性と信頼性が向上する。

実験結果

リサーチクエスチョン

• RQ1 単一のモデルが、性能に影響を与えることなく、高精度な予測、局所的説明、グローバルなインサイトを同時に提供可能か？
• RQ2 ランダムフォレストを近傍選択手法および特徴量選択メカニズムとしてどのように活用することで、解釈可能性を向上させられるか？
• RQ3 背後にあるグローバルパターンを検出することで、局所的説明の整合性と信頼性をどの程度診断できるか？
• RQ4 局所線形モデリングとランダムフォレストを統合することで、従来の手法と比較してより忠実で正確な説明が得られるか？

主な発見

• SLIMは、高精度な予測を達成するとともに、忠実な自己説明を提供し、一般的な精度と解釈可能性のトレードオフを効果的に解消する。
• モデルは例に基づく説明と局所的説明の両方を提供し、ユーザーが個々の予測を文脈の中で理解できるようにする。
• SLIMは、特徴量の重要度およびデータ構造におけるグローバルパターンを検出でき、局所的説明の潜在的限界を診断するのに役立つ。
• 局所線形モデリングとランダムフォレストの二重解釈を統合することで、多層的解釈性をサポートする統一されたフレームワークを提供する。
• ランダムフォレストを近傍選択および特徴量選択メカニズムとして統合することで、局所的予測の頑健性と解釈可能性が向上する。