[論文レビュー] Interpreting Classifiers through Attribute Interactions in Datasets

Andreas Henelius, Kai Puolamäki+1 more|arXiv (Cornell University)|Jul 24, 2017

Imbalanced Data Classification Techniques参考文献 16被引用数 31

ひとこと要約

この論文では、データ要因分解を通じて属性間の相互作用を特定することにより、ブラックボックス分類器を解釈するための新規手法astridを紹介する。この手法は、元のデータで学習した分類器と、再シャッフル（要因分解済み）データで学習した分類器の性能が区別できないような、属性の最大基数のグループ化を自動で同定する。これにより、データ分布やモデルタイプを仮定せずに、分類器がどのように属性の結合的依存関係を利用しているかを明らかにする。

ABSTRACT

In this work we present the novel ASTRID method for investigating which attribute interactions classifiers exploit when making predictions. Attribute interactions in classification tasks mean that two or more attributes together provide stronger evidence for a particular class label. Knowledge of such interactions makes models more interpretable by revealing associations between attributes. This has applications, e.g., in pharmacovigilance to identify interactions between drugs or in bioinformatics to investigate associations between single nucleotide polymorphisms. We also show how the found attribute partitioning is related to a factorisation of the data generating distribution and empirically demonstrate the utility of the proposed method.

研究の動機と目的

• 分類器が入力属性間の相互作用をどのように利用しているかを明らかにすることで、不透明な分類器を解釈する手法を開発すること。
• 要因分解後のデータで学習した分類器の性能が統計的に区別できないような、属性の最大基数のグループ化を特定すること。
• 任意の分類器およびデータ分布に適用可能な汎用的で仮定のないアプローチを提供すること。
• 分類器が実際に利用している相互作用構造を反映する属性グループの実用的同定を可能にすること。
• 多属性相互作用が重要となる分野、例えば薬物異常監視やバイオインフォマティクスにおける実世界の応用を支援すること。

提案手法

• 本手法は、与えられた属性グループ化 $\mathcal{S}$ が有効かどうかを評価するために、元のデータと $\mathcal{S}$ に従って再シャッフルされたデータで分類器を学習し、その性能を比較する。
• 要因分解済みデータの複数回のランダムサンプルにおける信頼区間（CI）を用いて、元の分類器の精度が要因分解済み分類器の性能と統計的に区別可能かどうかを評価する。
• 元の分類器の精度が要因分解済み分類器の性能の信頼区間内にある場合、グループ化 $\mathcal{S}$ は有効とみなされる。
• 最大基数のグループ化を探索するため、反復的にグループ化をテストし、CIに基づく仮説検定により妥当性を検証するアルゴリズムを用いる。
• 要因分解 $P(X|C; \mathcal{S}) = \prod_{S \in \mathcal{S}} P(X(\cdot,S)|C)$ が真のクラス条件付き構造を捉えている場合、分類器はシャッフル済みデータで学習しても精度を損なわないという仮定に依存している。
• 本手法は計算的に効率的で、多項式時間で実行可能であり、中規模のデータセットに対してもスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 与えられた属性グループ化が、分類器が実際に利用している真の相互作用構造を反映しているかどうかを特定できるか？
• RQ2 要因分解後に分類器の性能が統計的に区別されないような、属性の最大基数のグループ化は何か？
• RQ3 提案手法は、教師あり学習における属性相互作用の同定において、従来の手法と比較してどのように異なるか？
• RQ4 本手法は、実世界のデータセットにおいて、意味のある非自明な属性相互作用をどの程度明らかにできるか？
• RQ5 本手法は、データサイズ、分類器の種別、相互作用の強度の変動に対してどの程度頑健か？

主な発見

• 4つの属性を持つ合成データセットでは、astridはSVMおよびランダムフォレストの両方において、$\mathcal{S} = \{\{1,2\}, \{3\}, \{4\}\}$ というグループ化を正しく同定した。元の精度は、要因分解済みモデルの信頼区間の上界を上回っており、有効性が裏付けられた。
• ナイーブベイズの実験では、分類器の精度がすべての要因分解において変化しなかったため、本手法は自明なグループ化 $\mathcal{S} = \{\{1\}, \{2\}, \{3\}, \{4\}\}$ を正しく同定した。
• UCIのバランススケールデータセットでは、サイズ3のグループ化（最大グループサイズ2）が同定され、Ojala & Garriga（2010）の検定によるp値は0.03であり、わずかに有意であった。
• マッシュルームデータセットでは、サイズ15のグループ化（最大グループサイズ7）が同定され、分類器の正解率は99.5％に達し、p値は0.00であった。これは、相互作用構造の強い証拠を示している。
• kr-vs-kpデータセットでは、サイズ33のグループ化（最大グループサイズ4）が同定され、p値は0.00であった。これは要因分解が無効であることを示しており、高い相互作用の複雑さと整合的であった。
• 本手法は、SVM、ランダムフォレスト、ナイーブベイズの異なる分類器においても、合成データおよび実世界データセットで一貫した結果を示し、頑健性を示した。