[论文解读] Helping results assessment by adding explainable elements to the deep relevance matching model

Ioannis Chios, Suzan Verberne|arXiv (Cornell University)|Jun 9, 2021

Topic Modeling参考文献 22被引用 24

一句话总结

论文在基于 DRMM 的搜索界面中增加可解释元素——查询词权重以甜甜圈图可视化，段落级片段具有高亮段落和缩略图——并通过用户研究表明该界面更具可解释性和可评估性，尽管在选择前5相关文档方面并不明显更好。

ABSTRACT

In this paper we address the explainability of web search engines. We propose two explainable elements on the search engine result page: a visualization of query term weights and a visualization of passage relevance. The idea is that search engines that indicate to the user why results are retrieved are valued higher by users and gain user trust. We deduce the query term weights from the term gating network in the Deep Relevance Matching Model (DRMM) and visualize them as a doughnut chart. In addition, we train a passage-level ranker with DRMM that selects the most relevant passage from each document and shows it as snippet on the result page. Next to the snippet we show a document thumbnail with this passage highlighted. We evaluate the proposed interface in an online user study, asking users to judge the explainability and assessability of the interface. We found that users judge our proposed interface significantly more explainable and easier to assess than a regular search engine result page. However, they are not significantly better in selecting the relevant documents from the top-5. This indicates that the explainability of the search engine result page leads to a better user experience. Thus, we conclude that the proposed explainable elements are promising as visualization for search engine users.

研究动机与目标

• 在非个性化网络搜索中促进可解释性并通过使相关性信号可见来增加用户信任。
• 利用 DRMM 提取每个词的重要性和段落级相关性以用于可视化解释。
• 评估可解释可视化对用户对可解释性、可评估性和相关性选择的判断的影响。
• 研究可解释元素是否影响用户从片段中识别相关文档的能力。

提出的方法

• 使用 Anserini BM25 检索前 K 个文档，然后再用 DRMM（MatchZoo 实现）进行重新排序。
• 将 DRMM 调整为通过词门控网络产生词级重要性，将其解读为用于可视化的查询词权重。
• 将文档分成不重叠的 100-token 片段，并训练一个段落级 DRMM 来对文档内的片段进行排序（分配片段分数，并将 maxP 片段用作文档摘要）。
• 在结果页将查询词重要性可视化为甜甜圈图，并显示一个文档缩略图，最高分的片段高亮显示为摘要。
• 使用对比学习损失函数（hinge loss）和成对排序进行训练，并使用 Adadelta 优化；在 DRMM 中对局部交互使用基于 LogCount 的直方图。
• 使用 Robust04 数据集进行评估，对 DRMM 进行 5 折交叉验证，并进行一项比较常规界面与可解释界面的用户研究。

实验结果

研究问题

• RQ1 在为每个文档选择最相关段落时，DRMM 的排序效果如何？
• RQ2 与常规页面相比，用户如何评判可解释搜索结果页的可解释性和可评估性？
• RQ3 仅基于可解释界面的片段与常规界面相比，用户选择相关文档的能力有多大？

主要发现

• 可解释界面被显著认为比常规界面更具可解释性（均值可解释性 4.2 对 3.4）。
• 可解释界面被显著认为比常规界面更具可评估性（均值可评估性 4.4 对 3.6）。
• 按界面分析显示可解释性差异在受试者和查询中鲁棒（界面效应显著，ANOVA p<0.001）。
• 仅从结果页判断相关性的用户精确度和召回率没有因可解释界面而显著提升（precision p=0.90，recall p=0.38）。
• 在检索性能方面，段落级排序模型在 P@20 和 nDCG@20 上不如 BM25 和文档级 DRMM，但在 MAP 上略优，表明在评估可解释特征方面具有可接受的质量。