[論文レビュー] Interpreting search result rankings through intent modeling

Jaspreet Singh, Avishek Anand|arXiv (Cornell University)|Sep 13, 2018

Explainable Artificial Intelligence (XAI)参考文献 26被引用数 4

ひとこと要約

本稿では、クエリ拡張と単純な検索モデルを用いてブラックボックスランカーの意図を近似することで、複雑なニューラルランクモデルを後から解釈する、モデルに依存しないフレームワークを提案する。拡張されたクエリ語がランク付け意思決定の解釈可能な説明として機能することを示し、偏見の検出やペairwise文書ランクの違いの特定を、高い局所的忠実度と戦略的な好みペアのサンプリングによるグローバル精度の向上を伴って可能にする。

ABSTRACT

Given the recent interest in arguably accurate yet non-interpretable neural models, even with textual features, for document ranking we try to answer questions relating to how to interpret rankings. In this paper we take first steps towards a framework for the interpretability of retrieval models with the aim of answering 3 main questions "What is the intent of the query according to the ranker?", "Why is a document ranked higher than another for the query?" and "Why is a document relevant to the query?" Our framework is predicated on the assumption that text based retrieval model behavior can be estimated using query expansions in conjunction with a simpler retrieval model irrespective of the underlying ranker. We conducted experiments with the Clueweb test collection. We show how our approach performs for both simpler models with a closed form notation (which allows us to measure the accuracy of the interpretation) and neural ranking models. Our results indicate that we can indeed interpret more complex models with reasonable accuracy under certain simplifying assumptions. In a case study we also show our framework can be employed to interpret the results of the DRMM neural retrieval model in various scenarios.

研究の動機と目的

• 情報検索で用いられる複雑なニューラルランクモデルにおける解釈可能性の欠如に対処すること。
• 文書が別の文書よりも高くランク付けされる、またはクエリに関連すると判断される理由を説明する、後から適用可能でモデルに依存しない手法を開発すること。
• クエリ拡張とより単純な検索モデルを用いて、ブラックボックスランカーが認識する潜在的クエリ意図を推定すること。
• 解釈された意図に含まれる語を分析することで、特に時系列的およびモデル固有のバイアスを検出すること。
• 開発者やユーザーが、解釈可能で人間が読める説明を通じて、ランクモデルを理解・デバッグ・改善できるようにすること。

提案手法

• ブラックボックスランカーが認識するクエリ意図を反映する語の集合を、クエリ拡張によって生成する。
• 拡張クエリ上で、単純で解釈可能な検索モデル（例：BM25 や TF-IDF）を学習させ、元のランカーの出力を近似する。
• 元のランク付けからのペアワイズ文書比較を用いて、解釈タスクを好み学習問題として定式化する。
• 好みペアを用いて、ブラックボックスモデルと単純モデルのランク差を最小化することで、拡張クエリを最適化する。
• 弱教師あり設定において、誤検出語を低減するために文書の摂動技術を適用する。
• 語の重要度スコア（例：語の頻度と文書長さに基づく）を用いて視覚化することで、なぜある文書が別の文書よりも高いランクになるかを示す。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスランクモデルが認識する実際のクエリ意図は何か？
• RQ2 あるクエリに対してなぜ文書Aが文書Bよりも高い順位にランク付けされるのか？
• RQ3 モデルの内部論理に従って、特定の文書がクエリに関連すると判断されるのはなぜか？
• RQ4 解釈可能でクエリ拡張された説明を用いて、複雑なニューラルランカーの挙動をどれほど正確に近似できるか？
• RQ5 このフレームワークは、ランク付け意思決定における時系列的およびモデル固有のバイアスを検出できるか？

主な発見

• 本フレームワークは、トップ-k結果からの好みペアに焦点を当てることで、高い局所的忠実度を達成するが、これにより一部のグローバル精度が損なわれる。
• 低ランクの文書から追加の好みペアをサンプリングすることで、グローバル忠実度が顕著に向上するが、局所的精度が低下する代償を伴う。
• トップ-k + ランダムランクのサンプリング戦略が、完全にランダムまたはランクバイアス付きのサンプリングよりも常に優れていることから、局所的およびグローバル忠実度のバランスが最適であることが示された。
• 弱教師あり設定では、誤検出語を低減するために文書の摂動が不可欠であり、説明の信頼性が向上する。
• DRMMおよびDESの事例研究から、明確な時系列的バイアスが判明した：DRMMは2004年ごろの出来事（例：アフガニスタン戦争、ゴアの2000年選挙）を好むが、DESはより一般的な意味的コンセプト（例：旗、看護師）を反映している。
• 語の重要度スコアに基づく視覚的説明は、たとえば「腸」のようなレアだが関連性の高い語を含む文書が、意味的に類似しているがより具体的でない文書よりも高いランクに位置する理由を効果的に説明する。