[論文レビュー] Explaining Classification Models Built on High-Dimensional Sparse Data

Julie Moeyersoms, B D'Alessandro+2 more|arXiv (Cornell University)|Jul 21, 2016

Machine Learning and Data Classification参考文献 6被引用数 14

ひとこと要約

本稿では、高次元でスパースな行動データに訓練された線形モデルの解釈可能性を向上させるために、2つの新規手法—Evidence Counterfactual (EC) および Shapley値に基づく特徴順序付け—を提案する。特徴の係数と特徴カバレッジ（出現頻度）を組み合わせることで、最も多くの予測を説明する特徴を特定し、標準的な係数ベースの順序付けと比較して2倍の「コストパフォーマンス」を達成する。

ABSTRACT

Predictive modeling applications increasingly use data representing people's behavior, opinions, and interactions. Fine-grained behavior data often has different structure from traditional data, being very high-dimensional and sparse. Models built from these data are quite difficult to interpret, since they contain many thousands or even many millions of features. Listing features with large model coefficients is not sufficient, because the model coefficients do not incorporate information on feature presence, which is key when analysing sparse data. In this paper we introduce two alternatives for explaining predictive models by listing important features. We evaluate these alternatives in terms of explanation "bang for the buck,", i.e., how many examples' inferences are explained for a given number of features listed. The bottom line: (i) The proposed alternatives have double the bang-for-the-buck as compared to just listing the high-coefficient features, and (ii) interestingly, although they come from different sources and motivations, the two new alternatives provide strikingly similar rankings of important features.

研究の動機と目的

• 高次元でスパースな行動データに訓練された線形モデルの解釈を困難にする要因として、標準的な係数ベースの特徴順序付けが特徴カバレッジが低いことによるものであるため、これを解決すること。
• モデル係数の大きさと特徴の存在頻度（カバレッジ）の両方をバランスさせるようにして、解釈可能性と実用的有用性を向上させる説明手法を開発すること。
• 「説明のコストパフォーマンス（bang for the buck）」—リストアップした特徴数あたりに説明できる予測数—という観点から、これらの手法の有効性を評価・比較すること。
• 理論的基盤が異なる2つの根本的に異なるアプローチ（EC および Shapley）が、異なる理論的根拠にもかかわらず、類似した強固な特徴重要度順序付けをもたらすかどうかを調査すること。

提案手法

• 最小の特徴集合を特定するEvidence Counterfactual (EC) 法を提案し、その削除によって特定のインスタンスの予測が変化するものとする。
• 協力ゲーム理論におけるShapley値を用いて、すべての可能な特徴サブセットにおいて各特徴が予測に寄与する割合を計算し、公平な寄与度割り当てを実現する。
• すべてのデータインスタンスに対して個々のECまたはShapleyスコアを集約し、正規化することで、係数の大きさとカバレッジの両方を考慮したグローバルな特徴重要度順序付けを生成する。
• 説明曲線（explanation curves）を用い、x軸を上位特徴数（対数スケール）とし、y軸をその特徴集合のみで正しく予測されたインスタンス数とする可視化および評価指標を導入する。
• 実世界の高級小売業の閲覧行動データセット（数百万のバイナリ特徴：訪問したURL）を用い、ロジスティック回帰をベースモデルとして採用し、閾値ベースの正例予測を評価に用いる。
• 異なる手法間の順位相関を評価するため、スピアマンの順位相関係数を用い、トップk特徴リストを用いて説明力の差を比較する。

実験結果

リサーチクエスチョン

• RQ1 高次元でスパースな行動データに訓練された線形モデルの解釈可能性を、特徴係数と特徴カバレッジの両方を組み合わせることでどのように向上させられるか？
• RQ2 ECおよびShapleyベースの手法は、標準的な係数ベースの特徴順序付けと比較して、説明の効率（「コストパフォーマンス」）において顕著に優れているか？
• RQ3 理論的基盤が異なるにもかかわらず、ECおよびShapley手法が、強い一貫性を示して類似した特徴重要度順序付けをもたらす程度はどの程度か？
• RQ4 特徴カバレッジのみの順序付けは、係数ベースまたはハイブリッド手法と比較して、モデル予測の説明においてどの程度優れているか？
• RQ5 説明曲線は、実世界のスパースデータ環境において、異なる説明手法の性能を効果的に定量化および比較するのに適しているか？

主な発見

• ECおよびShapleyベースの手法は、特徴係数の大きさのみに基づいて特徴を選択する方法と比較して、約2倍の「コストパフォーマンス（bang for the buck）」を達成しており、リストアップした特徴数あたりに説明できる予測数が2倍に増加する。
• ECおよびShapley手法の上位10特徴順位はほぼ同一の順序で、スピアマン相関係数が0.97に達しており、両手法間の強い一貫性が示された。
• EC/Shapley順位と係数ベース順位（β）との相関は中程度（0.60–0.75）であり、スパースデータにおいて係数の大きさだけでは説明的重要度の良い代理指標とはならないことが示された。
• 特徴「ebay.com」はEC法で1位（説明寄与度7%）にランク付けされたが、係数の大きさでは17位（0.17%）にとどまり、EC法がカバレッジが高く影響力のある特徴を係数順位では見逃す可能性があることを示している。
• カバレッジベースの順序付けは係数ベースの順序付けを上回るが、依然としてECおよびShapley手法に劣っており、相関係数はそれぞれ0.39および0.16であった。
• 説明曲線の結果、係数ベース順序付けでは、トップ10%の特徴を使用しても、インスタンスの約半数しか正しく説明できなかったが、ECおよびShapley手法では、全範囲にわたり顕著に高い説明率を示した。