[論文レビュー] Interpretable Learning-to-Rank with Generalized Additive Models

Honglei Zhuang, Xuanhui Wang+8 more|arXiv (Cornell University)|May 6, 2020

Explainable Artificial Intelligence (XAI)参考文献 56被引用数 5

ひとこと要約

この論文では、アイテムレベルおよびリストレベルの特徴量を加法的サブモデルとしてモデル化する、インラインで解釈可能な新規な学習順序付けフレームワークであるニューラルランクGAM（RankGAMs）を紹介する。このアプローチは、ベンチマークデータセットで最先端の性能を達成しながら完全な解釈可能性を維持しており、複雑なニューラルサブモデルを最小限の精度損失で、簡潔な区分線形関数に蒸留することで推論効率をさらに向上させている。

ABSTRACT

Interpretability of learning-to-rank models is a crucial yet relatively under-examined research area. Recent progress on interpretable ranking models largely focuses on generating post-hoc explanations for existing black-box ranking models, whereas the alternative option of building an intrinsically interpretable ranking model with transparent and self-explainable structure remains unexplored. Developing fully-understandable ranking models is necessary in some scenarios (e.g., due to legal or policy constraints) where post-hoc methods cannot provide sufficiently accurate explanations. In this paper, we lay the groundwork for intrinsically interpretable learning-to-rank by introducing generalized additive models (GAMs) into ranking tasks. Generalized additive models (GAMs) are intrinsically interpretable machine learning models and have been extensively studied on regression and classification tasks. We study how to extend GAMs into ranking models which can handle both item-level and list-level features and propose a novel formulation of ranking GAMs. To instantiate ranking GAMs, we employ neural networks instead of traditional splines or regression trees. We also show that our neural ranking GAMs can be distilled into a set of simple and compact piece-wise linear functions that are much more efficient to evaluate with little accuracy loss. We conduct experiments on three data sets and show that our proposed neural ranking GAMs can achieve significantly better performance than other traditional GAM baselines while maintaining similar interpretability.

研究の動機と目的

• 後処理による説明手法の限界を克服し、透明で自己説明可能なインラインで解釈可能な学習順序付けモデルを開発すること。
• 一般化加法モデル（GAMs）をアイテムレベルおよびリストレベルの特徴量を扱えるように順序付けタスクに拡張すること。
• 複雑なニューラルサブモデルを高効率で解釈可能な区分線形関数に蒸留することで、精度を損なわずモデル効率を向上させること。
• 特に高リスクな応用分野において、解釈可能性と高い性能が共存できることを示すこと。
• 解釈可能なモデルがブラックボックスの深層学習モデルの性能向上にどのように寄与できるかを検討すること。

提案手法

• アイテムレベル特徴量とリストレベルの文脈特徴量を加法的サブモデルで組み合わせる、順序付けGAMsの新規な定式化を提案する。
• 個々の特徴量と順序付けスコアの非線形関係を捉えるために、フィードフォワードニューラルネットワークをサブモデルとして使用する。
• 訓練済みのニューラルサブモデルを、シンプルで効率的かつ解釈可能な区分線形関数に変換するための知識蒸留を適用する。
• 標準的なLTR指標（例：NDCG）を最適化するための順序付け固有の訓練目的関数を採用する。
• リストレベル特徴量がサブモデルの重みを調整できるようにすることで、文脈依存の特徴量重要度をサポートする。
• 確率的勾配降下法を用いて、サブモデル出力を合算して最終的な順序付けスコアを生成する形で、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 一般化加法モデルは、アイテムレベルおよびリストレベルの両方の特徴量を含む順序付けタスクに効果的に適応可能か？
• RQ2 ニューラルネットワークは、GAMベースの順序付けフレームワークにおける柔軟かつ解釈可能なサブモデルとして機能可能か？
• RQ3 ニューラルサブモデルから区分線形関数への知識蒸留は、性能を保持しつつ推論速度を向上させられるか？
• RQ4 インラインで解釈可能なモデルは、透明性を維持したまま、従来のGAMベースラインを上回る順序付け性能を達成可能か？
• RQ5 解釈可能なモデルの知見は、ブラックボックスの深層ニューラルネットワークの順序付けタスクにおける性能向上に寄与できるか？

主な発見

• Neural RankGAMsは、3つのベンチマークデータセットにおいて、従来のGAMベースラインと比較して顕著に高いNDCGスコアを達成しており、特にYAHOOデータセットではNDCG@1で4.5%の向上を示した。
• 蒸留により、1クエリあたりの推論時間が最大90%短縮された—YAHOOデータセットでは47msから3msにまで短縮され、ほぼ同等の性能を維持した。
• WEB30Kデータセットでは、蒸留後のモデルがNDCG@10で44.15を達成し、元の45.09に非常に近い性能を示しており、蒸留による精度損失が最小限であることが確認された。
• サブモデルの容量が中程度（例：(16,8)の隠れ層次元）で性能が飽和することから、高コストな複雑さは必ずしも必要でないことが示された。
• ニューラルRankGAMのサブモデル出力を深層フィードフォワードネットワークと組み合わせたハイブリッドモデルは、WEB30KでNDCG@10が48.21を達成し、単体のDNNよりも0.9ポイント優れた性能を示した。
• アブレーションスタディの結果、リストレベルの文脈特徴量が順序付け性能を顕著に向上させることを確認し、モデルが文脈情報を効果的に活用できることを裏付けた。