[論文レビュー] Ranking Clarifying Questions Based on Predicted User Engagement

Tom Lotze, Stefan Klut+2 more|arXiv (Cornell University)|Mar 10, 2021

Advanced Text Analysis Techniques参考文献 21被引用数 6

ひとこと要約

この論文では、BERT埋め込みと回帰/分類モデルを用いて、クエリ、質問、回答の語彙的特徴のみを用いてユーザーの関与度を予測することで、会話型検索における明確化パネルの順序付け手法を提案する。予測された関与度を特徴量として用いることでランキング性能が顕著に向上し、RankNetにおけるNDCGが0.611から0.620に向上した。

ABSTRACT

To improve online search results, clarification questions can be used to elucidate the information need of the user. This research aims to predict the user engagement with the clarification pane as an indicator of relevance based on the lexical information: query, question, and answers. Subsequently, the predicted user engagement can be used as a feature to rank the clarification panes. Regression and classification are applied for predicting user engagement and compared to naive heuristic baselines (e.g. mean) on the new MIMICS dataset [20]. An ablation study is carried out using a RankNet model to determine whether the predicted user engagement improves clarification pane ranking performance. The prediction models were able to improve significantly upon the naive baselines, and the predicted user engagement feature significantly improved the RankNet results in terms of NDCG and MRR. This research demonstrates the potential for ranking clarification panes based on lexical information only and can serve as a first neural baseline for future research to improve on. The code is available online.

研究の動機と目的

• 実際のユーザーインタラクションデータが入手できない状況において、会話型検索における明確化パネルの順序付けの課題に対処すること。
• クエリ、質問、回答からの語彙的情報のみを用いて、ユーザー関与度の代理指標を構築すること。
• 実際のユーザークリックデータに依存しない、今後の明確化パネル順序付け研究のためのニューラルベースラインを確立すること。
• 予測されたユーザー関与度が、明確化パネルの学習による順序付け性能を向上させることを検証すること。
• スモールスクリーンまたは音声ベースの検索インターフェースにおけるユーザー体験を向上させる、完全に語彙的特徴に基づくソリューションを提供すること。

提案手法

• クエリ-質問-回答のトリプルのBERTおよびTF-IDF埋め込みを用いて、ユーザー関与度（PUE）を予測する回帰および分類モデルを訓練する。
• 明確化パネルのユーザーインタラクションを含むMIMICSデータセットを用い、PUEモデルの訓練および評価を行う。
• RankNetを用いたアブレーションスタディを実施し、予測されたユーザー関与度を特徴量として使用するかどうかで性能を比較する。
• ハイパーパramータチューニングを適用し、可視性が低いインスタンスからのノイズを低減するためのインプレッションレベルのフィルタを導入する。
• ホールドアウトされたテストセットを用いて、最終的な順序付けモデルの評価にNDCGおよびMRR指標を用いる。
• 2段階パイプラインを採用：まず関与度を予測し、次にその予測値を学習による順序付けモデルの特徴量として利用する。

実験結果

リサーチクエスチョン

• RQ1 語彙的特徴のみを用いて、明確化パネルにおけるユーザー関与度を回帰または分類タスクとして正確に予測できるか？また、単純なベースラインと比べてどうなるか？
• RQ2 明確化パネルのユーザー関与度予測において、BERT埋め込みとTF-IDF表現の間で性能に差は生じるか？
• RQ3 予測されたユーザー関与度を学習による順序付けの設定で特徴量として使用することで、明確化パネルの順序付け性能が向上するか？NDCGおよびMRRで測定した場合の結果は？

主な発見

• ユーザー関与度を予測する回帰モデルは、単純なベースライン（例：平均値予測）を著しく上回り、語彙的特徴が関与度の予測に有用な信号を含んでいることを示した。
• 回帰および分類の両タスクにおいて、BERT埋め込みがTF-IDF表現を上回った。これは、BERTが明確化コンテンツの意味的ニュアンスをより効果的に捉えられることを示している。
• アブレーションスタディの結果、RankNetにおいて予測されたユーザー関与度を特徴量として使用したことで、NDCGが0.611から0.620に向上（p値 = 0.0008）し、その有効性が裏付けられた。
• MRRも0.607から0.620に有意に向上（p値 = 0.011）し、指標の観点から一貫した向上が確認された。
• 2クラス分類バージョンは11クラス分類バージョンよりも優れた性能を示した。これは、クラスの不均衡が軽減され、一般化性能が向上したためと推察される。
• ランダムベースライン（NDCG ≈ 0.47）に対して顕著な向上を達成したため、予測の困難さを考慮しても、提案手法の有効性が検証された。