[論文レビュー] Concept Tree: High-Level Representation of Variables for More Interpretable Surrogate Decision Trees

Xavier Renard, Nicolas Woloszko+2 more|arXiv (Cornell University)|Jun 4, 2019

Explainable Artificial Intelligence (XAI)参考文献 16被引用数 8

ひとこと要約

本稿では、相関関係があるか意味的に関連する変数を高レベルの「概念」にグループ化することで解釈可能性を向上させる、モデルに依存しない代替意思決定木手法「コンセプトツリー」を提案する。これは分野の専門知識または相関に基づくクラスタリングを用いて実現される。木の分割をこれらの概念に制限することにより、忠実性と精度を保ちながら、より直感的でグローバルに整合性のある説明を生成する。FRED-MDマクロ経済データセットを用いた実験で、標準的なTREPAN代替モデルに比べて人間の解釈可能性が向上していることが示された。

ABSTRACT

Interpretable surrogates of black-box predictors trained on high-dimensional tabular datasets can struggle to generate comprehensible explanations in the presence of correlated variables. We propose a model-agnostic interpretable surrogate that provides global and local explanations of black-box classifiers to address this issue. We introduce the idea of concepts as intuitive groupings of variables that are either defined by a domain expert or automatically discovered using correlation coefficients. Concepts are embedded in a surrogate decision tree to enhance its comprehensibility. First experiments on FRED-MD, a macroeconomic database with 134 variables, show improvement in human-interpretability while accuracy and fidelity of the surrogate model are preserved.

研究の動機と目的

• 高次元の表形式データにおいて相関関係のある変数を扱う代替意思決定木の解釈可能性の課題に対処すること。
• 相関関係のある依存変数のグループから恣意的に1つの変数を選択する標準的な代替モデルが生じる誤った単純さの感覚を軽減すること。
• 変数の高レベルな概念としてのグループ化を導入することで、グローバルおよびローカルの解釈可能性を向上させること。
• 概念ベースのグループ化がモデルの精度や忠実性を損なわせずに人間の可読性を向上させるかどうかを評価すること。

提案手法

• コンセプトは、専門知識またはピアソン相関に基づくクラスタリングを用いて、依存変数のグループ化として定義される。
• TREPANアルゴリズムを拡張し、分割ルールを個々の変数ではなく、全体のコンセプトに制限する。
• 意思決定木の各ノードは、そのコンセプトに属する変数のサブセットを用いてコンセプトをテストする。これにより、関連する特徴量が一緒に扱われる。
• 分割選択に、修正版のid2-of-3ルールを適用し、今やコンセプトレベルで実行することで整合性を向上させる。
• コンセプトを木の階層構造に活用し、より直感的でドメインに整合した説明言語を促進する。
• 本手法はモデルに依存しない性質を維持しており、任意のブラックボックス分類器に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 相関関係のある変数や意味的に関連する変数を高レベルのコンセプトにグループ化することで、代替意思決定木の解釈可能性が向上するか？
• RQ2 標準的なTREPANと比較して、コンセプトベースのグループ化は代替モデルの忠実性と精度にどのように影響するか？
• RQ3 専門家が定義したコンセプトと相関に基づくコンセプトの両方が、人間のモデル意思決定理解にどの程度向上効果をもたらすか？
• RQ4 コンセプトの使用により、相関関係のあるグループから個々の変数が恣意的に選択される現象が軽減されるか？
• RQ5 コンセプトベースの木は、ローカルの解釈可能性を維持しながら、より明確で整合性のあるグローバルな説明を提供できるか？

主な発見

• コンセプトツリーは、意味的で高レベルのコンセプトを中心に説明を整理することで、人間の解釈可能性を顕著に向上させた。
• 専門家が定義したコンセプトを用いたコンセプトツリーは、より整合性があり直感的な説明構造を実現し、ルートノードが明確に「労働市場」を主な予測因子として特定していた。
• 相関に基づくコンセプトクラスタリングは、意味のあるグループ化を成功裏に回復した。例えば、高相関の労働市場指標を1つのクラスタに統合した。
• 専門家が定義したコンセプトを用いたコンセプトツリーは、元のTREPANモデルと同等の精度と忠実性を達成したが、はるかに解釈しやすかった。
• 対照的に、標準的なTREPANツリーは、相関関係のあるグループから個々の変数（例：異なる雇用指標）を恣意的に選択し、全体像を曇らせていた。
• 結果として、コンセプトベースの木がブラックボックスモデルの挙動をより忠実かつ実務家フレンドリーな形で表現できることを示した。