[論文レビュー] Feature Importance Estimation with Self-Attention Networks

Blaž Škrlj, Sašo Džeroski+2 more|arXiv (Cornell University)|Feb 11, 2020

Explainable Artificial Intelligence (XAI)参考文献 24被引用数 27

ひとこと要約

本稿では、注意メカニズムを活用して関連する特徴量と相互作用を特定することで、命題的（表形式）データにおける直接的な特徴量重要度推定を目的とした自己注意ネットワーク（SANs）を提案する。SANsは、リリーフFやランダムフォレストベースの順序付けと比較して、特に高次元の生物学的データセットにおいて競争力のある性能を示し、単純な2項関係を超えた複雑な特徴量相互作用を明らかにする。

ABSTRACT

Black-box neural network models are widely used in industry and science, yet are hard to understand and interpret. Recently, the attention mechanism was introduced, offering insights into the inner workings of neural language models. This paper explores the use of attention-based neural networks mechanism for estimating feature importance, as means for explaining the models learned from propositional (tabular) data. Feature importance estimates, assessed by the proposed Self-Attention Network (SAN) architecture, are compared with the established ReliefF, Mutual Information and Random Forest-based estimates, which are widely used in practice for model interpretation. For the first time we conduct scale-free comparisons of feature importance estimates across algorithms on ten real and synthetic data sets to study the similarities and differences of the resulting feature importance estimates, showing that SANs identify similar high-ranked features as the other methods. We demonstrate that SANs identify feature interactions which in some cases yield better predictive performance than the baselines, suggesting that attention extends beyond interactions of just a few key features and detects larger feature subsets relevant for the considered learning task.

研究の動機と目的

• 命題的（表形式）データに対して注意メカニズムを用いて特徴量重要度を直接推定するニューラルネットワークアーキテクチャの開発。
• 特徴量順序付けの既存手法（リリーフF、相互情報量、Genie3）と比較して、SANsの順序付け品質および予測性能を評価すること。
• 注意メカニズムが、従来の手法で捉えきれない高次元の特徴量相互作用を検出できるかどうかを調査すること。
• 複数のアルゴリズムとデータセットにおける特徴量重要度推定のスケールフリーな比較を提供すること。
• SANsの理論的性質、特に空間的・時間的計算量の複雑さの分析。

提案手法

• 表形式データに特化した新しい自己注意ネットワーク（SAN）アーキテクチャを提案し、注意重みは学習された注意行列から導出される。
• 特徴量重要度を抽出するための3つの異なる手法を用いる：グローバル注意、行単位のソフトマックス注意、および注意行列からの対角注意。
• 注意に基づく特徴量重要度スコアを用いて特徴量を順序付け、削減された特徴量サブセットに対してロジスティック回帰を用いて予測性能を評価する。
• 異なるアルゴリズム間の特徴量重要度推定の類似性を定量的に比較するため、FUJIスコアを採用する。
• 予測用の標準的な分類器ヘッドと解釈可能性のための注意メカニズムを備えたSANsを、10個の実データおよび合成データセット上でエンドツーエンドで訓練する。
• 複数のしきい値を用いて、下流分類器の性能（F1スコア）を指標として順序付けの品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークにおける自己注意メカニズムは、命題的（表形式）データにおける特徴量重要度推定を、既存手法と同等の性能で効果的に実行できるか？
• RQ2 SANsの特徴量重要度推定は、リリーフF、相互情報量、Genie3と比較して、類似性および性能の面でどの程度異なるか？
• RQ3 SANsは、2項関係や単純な特徴量サブセットを超えた高次元の特徴量相互作用を検出でき、予測性能の向上に寄与するか？
• RQ4 データサイズおよび次元数の変化が、SANsの特徴量重要度推定性能に与える影響は何か？
• RQ5 SANsの理論的複雑さと計算コストは、従来の特徴量選択手法と比較してどの程度か？

主な発見

• SANsは、高次元の生物学的データセットであるdlbclにおいて、すべてのベースラインを15%以上上回る競争力のある予測性能を達成する。
• biodeg-p2-discreteのような小さなデータセットでは、SANsの性能が劣る傾向にあり、深層注意メカニズムを学習する際のデータ効率の制限が示唆される。
• SANsが上位にランク付けした特徴量は、リリーフFおよびGenie3の結果と強く一致しており、複数の手法間での一貫性が確認される。
• SANsは、性能向上に寄与する複雑な特徴量相互作用を検出しており、注意メカニズムが非局所的で高次元の依存関係を捉えることができることを示唆する。
• FUJIスコアは、SANsとGenie3／リリーフFとの間で顕著な類似性を示しており、注意に基づく重要度計算が、相互情報量と同様に非局所的である可能性を示唆する。
• SANsは特に生物学的分野（p53や遺伝子）における高次元データで優れた性能を示し、より大きな、より関連性の高い特徴量サブセットを同定する。