[論文レビュー] Feature Interaction Interpretability: A Case for Explaining Ad-Recommendation Systems via Neural Interaction Detection

Michael Tsang, Dehua Cheng+4 more|arXiv (Cornell University)|Jun 19, 2020

Explainable Artificial Intelligence (XAI)被引用数 16

ひとこと要約

本稿では、ニューラルインタラクション検出とLIMEを用いてブラックボックス推薦システム内のグローバルな特徴相互作用を検出し、スパース特徴クロッシングを通じてそれらをターゲットモデルに明示的に符号化することで、解釈可能で強化されたブラックボックス推薦システムの解釈手法GLIDERを提案する。この手法は、推薦、自然言語処理、画像、DNAモデリングの各タスクにおいて、予測精度を顕著に向上させるとともに、解釈可能で実行可能なインサイトを提供する。

ABSTRACT

Recommendation is a prevalent application of machine learning that affects many users; therefore, it is important for recommender models to be accurate and interpretable. In this work, we propose a method to both interpret and augment the predictions of black-box recommender systems. In particular, we propose to interpret feature interactions from a source recommender model and explicitly encode these interactions in a target recommender model, where both source and target models are black-boxes. By not assuming the structure of the recommender system, our approach can be used in general settings. In our experiments, we focus on a prominent use of machine learning recommendation: ad-click prediction. We found that our interaction interpretations are both informative and predictive, e.g., significantly outperforming existing recommender models. What's more, the same approach to interpret interactions can provide new insights into domains even beyond recommendation, such as text and image classification.

研究の動機と目的

• 実際の応用例（広告クリック予測など）で用いられる複雑なブラックボックス推薦システムにおける解釈不能性の問題に対処すること。
• モデルアーキテクチャへのアクセスを必要とせずに、意味のある特徴相互作用を検出し、符号化する汎用的手法を開発すること。
• 検出されたグローバル相互作用をターゲットモデルに明示的な特徴として統合することで、推薦精度を向上させること。
• 解釈可能性と実用性が推薦を越えて自然言語処理、コンピュータビジョン、ゲノム研究の分野においても有効であることを検証すること。

提案手法

• データインスタンスの摂動を用いたLIMEを活用し、ソースのブラックボックスモデルにおける特徴相互作用の局所的・インスタンスレベルの解釈を生成する。
• ニューラルインタラクション検出（NID）を適用して、複数のデータインスタンスにわたって一貫して出現する相互作用を特定し、グローバルな相互作用パターンを形成する。
• データセット全体にわたる繰り返し現れる相互作用パターンを統合し、安定的でグローバルに意味のある特徴相互作用を抽出する。
• 検出されたグローバル相互作用をスパース特徴クロッシングを介してターゲット推薦モデルに符号化することで、自動特徴工学を効果的に行う。
• 二段階フレームワークを採用する：(1) 摂動と局所的解釈による相互作用検出、(2) グローバル集約と新しいモデルへの符号化。
• 類似した相互作用を統合し、解釈の冗長性を低減するため、一貫性の閾値（例：重なり係数 ≥0.5）を用いる。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス推薦システムが学習した特徴相互作用を、グローバル的かつ安定的に意味的に解釈し抽出できるか？
• RQ2 検出されたグローバル相互作用は、ターゲット推薦モデルの予測性能を向上させることができるか？
• RQ3 本手法が生成する解釈は、自然言語処理、画像、DNAモデリングなど多様な分野において情報的で意味的に明確な内容か？
• RQ4 LIMEなどのベースライン手法と比較して、検出された相互作用は解釈可能性と予測力の両面で優れているか？

主な発見

• GLIDERが生成する相互作用解釈は、CriteoデータセットにおいてMADEX（相互作用検出モジュール）が1.7±0.1 AUCを達成したことを含め、既存の推薦モデルを顕著に上回った。
• 検出されたグローバル相互作用を明示的に符号化することで、下流モデルの誤差率が低下し、予測性能が向上した。
• 画像分類タスクでは、LIMEの主効果では捉えきれなかった顕著で補完的な領域（例：サメのヒレ）をGLIDERが検出しており、優れた解釈性を示した。
• 自然言語分類では、"never, fails" や "absolutely, no" といった意味的に明確な語の相互作用をGLIDERが同定し、個々の特徴の寄与度よりも情報量が多くなった。
• DNAモデリングでは、GLIDERが「CACGTG」ヌクレオチド相互作用をテストセットインスタンス全体で97.3%の一致率で検出しており、生物学的妥当性を裏付けた。
• 本手法は推薦を越えて、グラフ、画像、DNAモデリングのタスクにおいても、一貫性があり意味のある相互作用検出を示した。