[論文レビュー] RL-LIM: Reinforcement Learning-based Locally Interpretable Modeling

Jinsung Yoon, Sercan Ö. Arık+1 more|arXiv (Cornell University)|Sep 25, 2019

Explainable Artificial Intelligence (XAI)参考文献 36被引用数 9

ひとこと要約

RL-LIM は強化学習に基づく手法を提案し、最小限の代表的サンプルの選択とブラックボックスモデルの予測を低容量で人間が読めるモデルに蒸留することで、局所的に解釈可能なモデルを構築する。報酬に基づくサンプル選択により、予測性能がブラックボックスモデルとほぼ同等に保たれるとともに、解釈性と忠実度の面で最先端の手法を著しく上回る。

ABSTRACT

Understanding black-box machine learning models is important towards their widespread adoption. However, developing globally interpretable models that explain the behavior of the entire model is challenging. An alternative approach is to explain black-box models through explaining individual prediction using a locally interpretable model. In this paper, we propose a novel method for locally interpretable modeling - Reinforcement Learning-based Locally Interpretable Modeling (RL-LIM). RL-LIM employs reinforcement learning to select a small number of samples and distill the black-box model prediction into a low-capacity locally interpretable model. Training is guided with a reward that is obtained directly by measuring agreement of the predictions from the locally interpretable model with the black-box model. RL-LIM near-matches the overall prediction performance of black-box models while yielding human-like interpretability, and significantly outperforms state of the art locally interpretable models in terms of overall prediction performance and fidelity.

研究の動機と目的

• 複雑なブラックボックス機械学習モデルを、正確かつ人間が理解できる方法で解釈する課題に対処すること。
• 元のブラックボックスモデルの予測性能を保持しつつ、最小限のデータで局所的に解釈可能なモデルを生成する手法を開発すること。
• 強化学習を用いて予測の忠実度とモデルの解釈性の両方を向上させることで、既存の局所的解釈可能なモデルを改善すること。
• モデルに依存しない効率的でブラックボックスモデルの挙動に忠実な局所的説明を可能にすること。

提案手法

• 強化学習を用いて、特定のインスタンストの周囲でブラックボックスモデルの挙動を最もよく捉える少数の代表的トレーニングサンプルを選択する。
• 選択されたサンプル上で、低容量で解釈可能なモデルを訓練し、ブラックボックスモデルの局所的予測を近似する。
• 解釈可能なモデルの予測とブラックボックスモデルの出力の一致度を測る報酬信号によって、訓練プロセスをガイドする。
• RLフレームワーク内の方策ネットワークは、忠実度を最大化し、複雑さを最小化するようにサンプル選択を最適化する学習を行う。
• モデルに依存せず、アーキテクチャの変更を要せず、任意のブラックボックスモデルに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、局所的モデル蒸留に適した最小限の代表的サンプルを効果的に同定できるか？
• RQ2 予測忠実度と性能の観点から、RL-LIM は最先端の局所的解釈可能なモデルをどのように上回るか？
• RQ3 強化学習を用いた訓練により得られた局所的解釈可能なモデルは、元のブラックボックスモデルの予測精度にどの程度近づけるか？
• RQ4 報酬に基づくサンプル選択プロセスは、より人間が理解しやすく忠実な局所的説明をもたらすか？

主な発見

• RL-LIM は、局所的予測において元のブラックボックスモデルとほとんど区別できない予測性能を達成している。
• RL-LIM は、ブラックボックスモデルの予測に対する忠実度の観点で、最先端の局所的解釈可能なモデルを著しく上回っている。
• RL-LIM が生成する局所的解釈可能なモデルは、コンactかつ高忠実度であるため、人間が読める解釈が可能である。
• 強化学習に基づくサンプル選択プロセスは、最小限のデータで予測精度を保持する代表的インスタンスを効果的に同定している。