[論文レビュー] Faithfully Explaining Rankings in a News Recommender System

Maartje ter Hoeve, Anne Schuth+2 more|arXiv (Cornell University)|May 14, 2018

Explainable Artificial Intelligence (XAI)参考文献 27被引用数 13

ひとこと要約

本論文では、ニュースレコメンデーションシステムが生成する順序付け結果について忠実で人間が理解可能な説明を生成するリストワイズ解釈者であるLISTENを提案する。Q-LISTENと呼ばれるニューラルネットワークを訓練し、LISTENの説明空間を効率的に学習・再現させることで、モデルが生成する説明が現実のユーザー行動において人間が書いたものと同等に効果的かつ安全であることを示した。

ABSTRACT

There is an increasing demand for algorithms to explain their outcomes. So far, there is no method that explains the rankings produced by a ranking algorithm. To address this gap we propose LISTEN, a LISTwise ExplaiNer, to explain rankings produced by a ranking algorithm. To efficiently use LISTEN in production, we train a neural network to learn the underlying explanation space created by LISTEN; we call this model Q-LISTEN. We show that LISTEN produces faithful explanations and that Q-LISTEN is able to learn these explanations. Moreover, we show that LISTEN is safe to use in a real world environment: users of a news recommendation system do not behave significantly differently when they are exposed to explanations generated by LISTEN instead of manually generated explanations.

研究の動機と目的

• ニュースレコメンデーションシステムの順序付けアルゴリズムが生成する順位付けを説明する手法の不足に応えること。
• リストワイズ順位付けの背後にある推論を捉える忠実な説明手法を開発すること。
• LISTENの説明空間を学習するニューラルネットワーク（Q-LISTEN）を訓練することで、スケーラブルなデプロイメントを可能にすること。
• 現実のユーザー環境におけるモデル生成説明の安全性と有効性を評価すること。

提案手法

• LISTENは、順位付けモデルの出力に対して自然言語の説明を生成するリストワイズ解釈者である。
• 入力特徴量と最終的な順位付けとの関係を分析することで、背後にある説明空間を学習する。
• Q-LISTENは、LISTENの説明生成を模倣するように訓練されたニューラルネットワークであり、本番環境での高速推論を可能にする。
• 説明と順位付け結果の整合性を保つ微分可能フレームワークを用いて、説明空間をエンドツーエンドで学習する。
• ユーザー研究を含む内在的・外在的妥当性評価を通じて、説明の忠実性を検証する。

実験結果

リサーチクエスチョン

• RQ1 モデルはニュースレコメンデーションシステムが生成する順位付けに対して忠実な説明を生成できるか？
• RQ2 ニューラルネットワーク（Q-LISTEN）はLISTENの説明空間を効果的に学習・再現できるか？
• RQ3 ユーザーは、モデル生成説明と手作業で書かれた説明を提示された際に、顕著に異なる行動を示すか？
• RQ4 説明手法は、悪影響を及ぼさない範囲で現実のシステムにデプロイ可能か？

主な発見

• LISTENは、順位付け意思決定の背後にある推論を正確に反映する忠実な説明を生成する。
• Q-LISTENはLISTENの説明空間を効果的に学習し、高い効率で同等の説明を生成する。
• 現実のニュースレコメンデーションシステムにおけるユーザー行動は、LISTENが生成した説明と手作業で書かれた説明を提示された場合に顕著に異なることはなかった。
• 説明条件下でユーザーに顕著な行動変化が観察されなかったため、本手法はデプロイに安全である。