[論文レビュー] ReLAX: Reinforcement Learning Agent eXplainer for Arbitrary Predictive Models

Ziheng Chen, Fabrizio Silvestri+4 more|arXiv (Cornell University)|Oct 22, 2021

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

ReLAX は、深層強化学習を用いたモデルに依存しない対応的説明手法を提案し、離散的・連続的ハイブリッド行動空間を活用して、任意のブラックボックス予測モデルに対してスパースで実行可能かつ最適な対応的説明を生成する。分類および回帰タスクの両方において、スパarsity、スケーラビリティ、一般化性能の面で既存のベースラインを上回り、COVID-19 死亡率低減のための現実世界の公衆衛生介入を効果的に提案する。

ABSTRACT

Counterfactual examples (CFs) are one of the most popular methods for attaching post-hoc explanations to machine learning (ML) models. However, existing CF generation methods either exploit the internals of specific models or depend on each sample's neighborhood, thus they are hard to generalize for complex models and inefficient for large datasets. This work aims to overcome these limitations and introduces ReLAX, a model-agnostic algorithm to generate optimal counterfactual explanations. Specifically, we formulate the problem of crafting CFs as a sequential decision-making task and then find the optimal CFs via deep reinforcement learning (DRL) with discrete-continuous hybrid action space. Extensive experiments conducted on several tabular datasets have shown that ReLAX outperforms existing CF generation baselines, as it produces sparser counterfactuals, is more scalable to complex target models to explain, and generalizes to both classification and regression tasks. Finally, to demonstrate the usefulness of our method in a real-world use case, we leverage CFs generated by ReLAX to suggest actions that a country should take to reduce the risk of mortality due to COVID-19. Interestingly enough, the actions recommended by our method correspond to the strategies that many countries have actually implemented to counter the COVID-19 pandemic.

研究の動機と目的

• 既存の対応的説明生成手法がモデル固有、勾配依存、または近隣領域依存であるという限界を是正し、一般化性とスケーラビリティを向上させること。
• 分類および回帰タスクの両方において、複雑なブラックボックスモデルに対して最適でスパースかつ実行可能な対応的説明を生成可能なモデルに依存しないフレームワークを開発すること。
• 対応的説明生成を、深層強化学習で解けるハイブリッド行動空間を備えた逐次的意思決定問題として定式化すること。
• 現実世界の国々における COVID-19 死亡率低減のための実行可能な政策提言を生成することで、実用的価値を実証すること。

提案手法

• エージェントが入力を変更可能な対応的説明に変換するため、最小限の摂動で済むように、特徴量と変更量を選択する意思決定タスクとして対応的説明生成を定式化する。
• 離散的アクション（どの特徴量を変更するか）と連続的アクション（変更量の大きさ）を組み合わせたハイブリッド行動空間を定義し、正確で実行可能な編集を可能にする。
• 階層的好奇心駆動型探索戦略を用いた深層強化学習により、報酬を最大化するようにエージェントの方策を最適化し、予測の変化と元のインスタンスへの近接性のバランスを取る。
• 2つのバージョンを実装：ReLAX-Global は全訓練セットから一般化された方策を学習し、ReLAX-Local は個々のインスタンス向けに転移学習によりパーソナライズド方策を微調整する。
• エージェントが行動可能な特徴量のみを変更し、妥当な変更方向（例：看護師比率の増加、肥満率の低下）を強制することで、現実世界での実行可能性を保証する。
• ブラックボックスモデルを報酬関数の評価者として扱うことで、モデルアーキテクチャーや内部構造に依存しない方法とする。

実験結果

リサーチクエスチョン

• RQ1 モデルの内部構造や局所的近隣領域に依存せずに、任意のブラックボックスモデルに対してスパースかつ実行可能な対応的説明を効果的に生成できるか。
• RQ2 ReLAX の性能は、多様な表形式データセットにおいて、スパarsity、近接性、スケーラビリティという観点で、既存の対応的説明生成ベースラインと比較してどのように差がつくか。
• RQ3 ReLAX は、現実世界の意思決定シナリオにおいて意味的で実行可能かつ経験的に妥当な提言を生成できるか。
• RQ4 ハイブリッド離散的・連続的行動空間は、従来の手法と比較して、生成された対応的説明の質と実行可能性をどの程度向上させるか。

主な発見

• ReLAX は、5つの公開表形式データセットにおいて、すべての標準指標で既存のベースラインを上回り、スパarsity、近接性、対応的説明の多様性の面で優れた性能を発揮した。
• 1つの対応的説明あたりの特徴量変更平均数は 1.67、L1-ノルムの近接性平均は 1.18 であり、極めてスパースかつ元のインスタンスに近い対応的説明であることが示された。
• 転移学習による微調整が施された ReLAX-Local は、個々のインスタンス説明において ReLAX-Global を上回る性能を示し、パーソナライズド方策適応の有効性を裏付けた。
• 高リスク国向けに生成された対応的説明は、死亡率の低減、失業率の低下、都市部人口率の低下、肥満有病率の低下、1万人あたり看護師数の増加という5つの重要な行動可能な変更を示唆した。
• これらの提言は、COVID-19 パニック期に実際に採用された政策（例：米国による外国看護師の採用促進、肥満関連リスクを標的とした公衆衛生戦略）と整合していた。
• ターゲットブラックボックス分類器として使用された XGBoost モデルは、テストセットで 85% の精度を達成しており、下位の予測タスクの堅牢性が裏付けられた。