[論文レビュー] Probability Series Expansion Classifier that is Interpretable by Design

Sapan Agarwal, Corey Hudson|arXiv (Cornell University)|Oct 27, 2017

Adversarial Robustness in Machine Learning参考文献 1被引用数 3

ひとこと要約

本論文は、測定済みの訓練データ確率から直接クラス確率を推定する階層的級数展開を用いて、内在的に解釈可能な新しい分類器を提案する。多段階の特徴量組み合わせによる推定値の精錬と、極端な確率に高い重みを付与することで、ランダムフォレスト並みの精度を達成すると同時に、特徴量の寄与度やモデル挙動の完全な監査が可能となる。

ABSTRACT

This work presents a new classifier that is specifically designed to be fully interpretable. This technique determines the probability of a class outcome, based directly on probability assignments measured from the training data. The accuracy of the predicted probability can be improved by measuring more probability estimates from the training data to create a series expansion that refines the predicted probability. We use this work to classify four standard datasets and achieve accuracies comparable to that of Random Forests. Because this technique is interpretable by design, it is capable of determining the combinations of features that contribute to a particular classification probability for individual cases as well as the weightings of each of combination of features.

研究の動機と目的

• モデルの透明性が不可欠な高リスク意思決定システムにおける解釈可能な機械学習の重要なニーズに対応する。
• 精度を求めるあまり解釈不能性を犠牲にするような、ランダムフォレストのような複雑なモデルの本質的曇りを克服する。
• 複雑な最適化や正則化を回避し、測定済みの訓練データ確率を直接用いてクラスの結果を推定する分類器を開発する。
• 特定の予測に最も寄与している特徴量の組み合わせや個々の特徴量を直接監査可能にする。
• ランダムフォレストのような最先端のモデルと同等の予測精度を維持しながら、解釈可能性を設計段階から確保する。

提案手法

• 訓練データからの測定確率の階層的級数展開を用いてクラス確率を推定し、最も具体的な特徴量の組み合わせから開始する。
• 低レベルの確率（例：P(Y|xi) および P(Y|xi,xj)）を重み付き平均を用いて組み合わせ、高レベルの推定値に段階的に改善する。
• 極端な確率（0または1に近い）に強く影響を与えるよう、スケーリング重み Si = 1 / (Pi′ × (1 − Pi′)) を適用する。
• 正規化項（Ni / N）とユーティリティ重み（Ui）を用いてデータ件数と不確実性補正を実装し、低サンプル数による推定のノイズを低減する。
• ジニ不純度またはエントロピーを用いて、情報量の少ない特徴量の組み合わせを効果的に pruning し、モデルサイズを制限しながらも精度を損なわない。
• 欠損特徴量に対応するため、推定時に該当する確率項を無視することで、実世界のシナリオでもロバスト性を維持する。

実験結果

リサーチクエスチョン

• RQ1 予測精度を犠牲にすることなく、解釈可能性を設計段階から組み込んだ分類器を構築することは可能か？
• RQ2 測定済みの訓練データ確率をどのように体系的に組み合わせることで、正確かつ解釈可能なクラス予測を達成できるか？
• RQ3 予測への特徴量レベルおよび組み合わせレベルの寄与度をどの程度明確に定量化・可視化できるか？
• RQ4 極端な確率推定値（0または1に近い）は全体の予測安定性にどのように影響するか。適切な重み付けはどのように行えるか？
• RQ5 確率の級数展開が、ランダムフォレストのようなアンサンブル手法と同等の性能を達成しつつも、完全に透明なままであるか？

主な発見

• 確率級数展開分類器は、4つの標準データセットにおいてscikit-learnのランダムフォレスト実装と同等の分類精度を達成した。
• モデルは、特定の予測に最も寄与した特徴量の組み合わせを直接特定でき、明示的な寄与度重みを提供することで完全な解釈可能性を実現した。
• 議会投票記録データセットにおける誤分類例では、特徴量の組み合わせ x3=1, x9=1, x15=0 が12.5%の重みを占め、レピブリカン分類の確率が100%であった。
• x9=1 や x3=1 といった個々の特徴量は、特定の組み合わせにおいて強い予測力を持つとして、それぞれ17%および16%の高い重みが割り当てられた。
• モデルは訓練データ内に矛盾する証拠（例：0% および 100% の両方のレピブリカン所属確率を予測する特徴量の組み合わせ）を効果的に同定した。
• データ件数と不確実性補正の組み込みにより、低サンプル数からの推定によるスケーリング重みの爆発を顕著に抑制し、モデルのロバスト性が向上した。