[論文レビュー] Interpreting Neural Ranking Models using Grad-CAM

Jaekeol Choi, Jung-In Choi+1 more|arXiv (Cornell University)|May 12, 2020

Explainable Artificial Intelligence (XAI)参考文献 9被引用数 10

ひとこと要約

本稿では、神経的ランク付けモデル（NRMs）であるMatchPyramidの解釈にGrad-CAMを適用し、各クエリ・ドキュメント語のペアが一致スコアに与える寄与度を可視化することを提案する。勾配に基づく帰属割り当てを最終畳み込み層に適用することで、有効な語とフィルタリングされた語を特定し、スニペットの関連性を向上（ユーザースタディーで78.37%の好まれ方）させるとともに、尖度（kurtosis）と寄与度の合計が高いため、正例ドキュメントと負例ドキュメントを統計的に区別できる。

ABSTRACT

Recently, applying deep neural networks in IR has become an important and timely topic. For instance, Neural Ranking Models(NRMs) have shown promising performance compared to the traditional ranking models. However, explaining the ranking results has become even more difficult with NRM due to the complex structure of neural networks. On the other hand, a great deal of research is under progress on Interpretable Machine Learning(IML), including Grad-CAM. Grad-CAM is an attribution method and it can visualize the input regions that contribute to the network's output. In this paper, we adopt Grad-CAM for interpreting the ranking results of NRM. By adopting Grad-CAM, we analyze how each query-document term pair contributes to the matching score for a given pair of query and document. The visualization results provide insights on why a certain document is relevant to the given query. Also, the results show that neural ranking model captures the subtle notion of relevance. Our interpretation method and visualization results can be used for snippet generation and user-query intent analysis.

研究の動機と目的

• 神経的ランク付けモデル（NRMs）の解釈不能性、特に複雑でしばしばブラックボックスと見なされる点を是正すること。
• コンピュータビジョン分野で実証済みの帰属割り当て手法であるGrad-CAMを適応することで、モデル内省的かつ直接的なNRM意思決定の解釈を可能にすること。
• 特定のドキュメントが高順位にランク付けされる理由に関する実用的洞察を提供し、スニペット生成やクエリ意図分析などの応用を支援すること。
• 正例ドキュメントが負例ドキュメントと比較して、明確に異なるGrad-CAM活性化パターンを示すことを統計的に検証すること。

提案手法

• 最終的なランクスコアをターゲット活性化として用いることで、畳み込みニューラルネットワークの分野で実証済みの勾配ベースの帰属割り当て手法であるGrad-CAMを神経的ランク付けモデルに適応する。
• 最終畳み込み層の特徴マップへの最終ランクスコアからの勾配のグローバル平均プーリングにより、重要度重みαₖを計算する。
• 各（クエリ語i, ドキュメント語j）ペアが一致スコアに与える寄与度を定量化するため、L ∈ ℝ^{u×v} のロケリゼーションマップを生成する。
• ロケリゼーションマップLを用いて、各ドキュメントごとに寄与度の高い有効語（effective terms）と寄与度の低いフィルタリング語（filtered terms）を特定し、解釈可能性を向上させる。
• ロケリゼーションマップを応用して、ドキュメントから高活性化スパンを抽出することで、クエリ関連のスニペットを生成する。
• 尖度（Kurt(L)）と寄与度合計（∑∑Lᵢⱼ）を用いた統計的分析により、正例ドキュメントと負例ドキュメントを比較する。

実験結果

リサーチクエスチョン

• RQ1 特定のクエリに対して、ドキュメントのどの構成要素がランクスコアに最も寄与しているか？
• RQ2 神経的ランク付けモデルにおいて、正例ドキュメントの活性化パターンは負例ドキュメントとどのように異なるか？
• RQ3 Grad-CAMに基づく帰属割り当ては、自動生成スニペットの関連性を向上させることができるか？
• RQ4 Grad-CAMは、『感染』を焦点にした意図を『予防』よりも明確に明らかにできるか、その程度はいかにか？

主な発見

• 78.37%の評価者が、ヴァニラ手法と比較してGrad-CAMを用いて生成されたスニペットを好んだことから、関連性がより高いことが示された。
• 正例ドキュメントは負例ドキュメントと比較して、顕著に高い尖度（Kurt(L)）と寄与度合計（∑∑Lᵢⱼ）を示した（p < 0.0001）。
• 本手法は『感染』や『伝播』といった有効語、『予防』といったフィルタリング語を正しく特定でき、クエリ意図の微細なニュアンスを反映した。
• クエリ『ドライヘアに良いオイルは何か』に対して、モデルは『香り』や『アロマセラピー』よりも『頭皮』や『サンダルウッド』を優先して処理した。
• ロケリゼーションマップにより、語レベルの寄与度の定性的な分析が可能となり、モデルが語彙的一致を超えた意味的関連性を捉えていることが明らかになった。
• 活性化パターンの統計的差異から、正例ドキュメントがより集中的で、高影響力の語の相互作用を示していることが確認された。