Skip to main content
QUICK REVIEW

[論文レビュー] From Intrinsic to Counterfactual: On the Explainability of Contextualized Recommender Systems

Yao Zhou, Haonan Wang|arXiv (Cornell University)|Oct 28, 2021
Recommender Systems and Techniques参考文献 49被引用数 10
ひとこと要約

本稿では、文脈的特徴(例:ユーザーレビュー)を活用してモデルの透明性を高めつつランキング性能を損なわずに、説明可能レコメンデーションシステムの階層—ホワイトボックス(注釈ベース)、グレーゾックス(敵対的摂動)、ブラックボックス(対応的摂動)—を提案する。対応的モデル(CNR)は、推薦精度と説明可能性の両面で優れたバランスを達成し、定量的指標および定性的な可視化の両面で他を上回る性能を示す。

ABSTRACT

With the prevalence of deep learning based embedding approaches, recommender systems have become a proven and indispensable tool in various information filtering applications. However, many of them remain difficult to diagnose what aspects of the deep models' input drive the final ranking decision, thus, they cannot often be understood by human stakeholders. In this paper, we investigate the dilemma between recommendation and explainability, and show that by utilizing the contextual features (e.g., item reviews from users), we can design a series of explainable recommender systems without sacrificing their performance. In particular, we propose three types of explainable recommendation strategies with gradual change of model transparency: whitebox, graybox, and blackbox. Each strategy explains its ranking decisions via different mechanisms: attention weights, adversarial perturbations, and counterfactual perturbations. We apply these explainable models on five real-world data sets under the contextualized setting where users and items have explicit interactions. The empirical results show that our model achieves highly competitive ranking performance, and generates accurate and effective explanations in terms of numerous quantitative metrics and qualitative visualizations.

研究の動機と目的

  • 深層学習ベースのレコメンデーションシステムにおける説明可能性の需要が高まる一方で、性能は向上するが透明性が低下するという状況に対処するため。
  • 特にユーザーレビューを含む文脈的特徴が、ランキング意思決定のための人間が理解可能な説明を生成するためにどのように活用できるかを調査するため。
  • モデルの透明度の異なる3つの異なる説明戦略—ホワイトボックス、グレーゾックス、ブラックボックス—を設計および比較するため。
  • 定量的指標と定性的な可視化の両方を用いて説明の有効性を評価し、モデルの挙動と人間の直感が一致することを保証するため。
  • 実世界の状況において、推薦性能と説明品質の最適なバランスをとるモデルアーキテクチャを特定するため。

提案手法

  • ランキング意思決定において影響力のある入力特徴(例:レビューの単語)を明示的に強調する神経アテンション機構を用いるホワイトボックスモデル(NAR)を提案する。
  • 入力特徴に敵対的摂動を適用し、モデル出力に最も影響を与える要因を同定するグレーゾックスモデル(CAR)を導入するが、これらの摂動自体は本質的に解釈可能ではない。
  • 入力特徴を変更して順位の変化を観察することで、後から生成される人間が理解可能な説明を提供するブラックボックスモデル(CNR)を構築する。
  • 説明ベクトルのクラスタリング状態を比較するためにt-SNE可視化を用い、モデルの説明が真値のユーザープレファレンスとどの程度一致するかを評価する。
  • 説明ベクトルと真値(GT)特徴(例:上位のレビュー語)とのピアソン相関分析を用い、説明品質を定量的に評価する。
  • すべてのモデルを、明示的なユーザ-アイテム相互作用データとレビューなどの文脈的特徴を備えた5つの実世界データセット(例:音楽、コスメ、衣料品)に適用する。

実験結果

リサーチクエスチョン

  • RQ1ユーザーレビューのような文脈的特徴を、深層学習ベースのレコメンデーションシステムに対して正確かつ人間が理解可能な説明を生成するために効果的に活用できるか?
  • RQ2ホワイトボックス、グレーゾックス、ブラックボックスという異なるレベルのモデル透明度は、推薦性能と説明品質のトレードオフにどのように影響を与えるか?
  • RQ3注釈ベース、敵対的、対応的説明手法は、レビュー内容から導かれる真値のユーザープレファレンスとどの程度相関しているか?
  • RQ4どの説明戦略が多様な実世界のレコメンデーションシナリオにおいて、最も信頼性が高く一貫性のある説明を提供するか?
  • RQ5対応的説明を用いるブラックボックスモデルは、高い性能を達成しながらも、強力な解釈可能性を維持できるか?

主な発見

  • 対応的モデル(CNR)は、定量的および定性的な評価の両面で、注釈ベース(NAR)および敵対的(CAR)モデルを上回り、推薦性能と説明品質の最良のバランスを達成する。
  • NARとCNRは真値の説明(ユーザーレビュー語)と強い相関を示すが、CARは弱い相関を示し、人間が理解可能な特徴と一致していないことが判明する。
  • t-SNE可視化により、CNRの説明ベクトルが真値のユーザークラスタに最も近いクラスタリングを示すことが確認され、次にNAR、CARの説明は最も分散している。
  • 全モデルの上位5語の説明語は真値から著しく異なるが、kを増やす(例:上位10語や上位20語に拡大)ことで、真値特徴との重複が増加し、一貫性が高まることを示す。
  • 敵対的モデル(CAR)は高い推薦性能を達成するが、敵対的摂動が意味的に整合的でなく、ユーザープレファレンスとも一致しないため、意味のある説明を生成できない。
  • CNRモデルは後から適用可能な説明手法として有効であり、既存のランク付けアーキテクチャに広く適用可能であるため、実務応用に非常に適している。

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。