[論文レビュー] Pre-training for Ad-hoc Retrieval: Hyperlink is Also You Need

Zhengyi Ma, Zhicheng Dou+5 more|arXiv (Cornell University)|Aug 20, 2021

Topic Modeling参考文献 62被引用数 7

ひとこと要約

本稿では、ヒンターキャンプとアンカーテキストを活用して、より信頼性の高い人為的監視信号を生成する、アドホック検索向けの事前学習フレームワークHARPを提案する。アンカーデータとドキュメントの関係に基づく4つの新規事前学習タスクを設計し、マスク言語モデルと併せて共同最適化することで、MS MARCOおよびTREC-COVIDにおける検索性能が顕著に向上し、BERTおよび既存のIR特化型手法を上回る。

ABSTRACT

Designing pre-training objectives that more closely resemble the downstream tasks for pre-trained language models can lead to better performance at the fine-tuning stage, especially in the ad-hoc retrieval area. Existing pre-training approaches tailored for IR tried to incorporate weak supervised signals, such as query-likelihood based sampling, to construct pseudo query-document pairs from the raw textual corpus. However, these signals rely heavily on the sampling method. For example, the query likelihood model may lead to much noise in the constructed pre-training data. \blfootnote{$\dagger$ This work was done during an internship at Huawei.} In this paper, we propose to leverage the large-scale hyperlinks and anchor texts to pre-train the language model for ad-hoc retrieval. Since the anchor texts are created by webmasters and can usually summarize the target document, it can help to build more accurate and reliable pre-training samples than a specific algorithm. Considering different views of the downstream ad-hoc retrieval, we devise four pre-training tasks based on the hyperlinks. We then pre-train the Transformer model to predict the pair-wise preference, jointly with the Masked Language Model objective. Experimental results on two large-scale ad-hoc retrieval datasets show the significant improvement of our model compared with the existing methods.

研究の動機と目的

• 既存のIR特化型事前学習手法がノイズの多いアルゴリズム的信号（例：クエリ尤度サンプリング）に依存する弱い監視の限界を是正すること。
• ウェブマスターより作成されたハイパーリンクとアンカーテキストを、より信頼性が高く質の高い監視信号として活用することの検討。
• アンカーデータとドキュメントの関係の異なる側面をモデル化する4つの異なる事前学習タスクの設計により、アドホック検索における関連性マッチングの向上を図ること。
• ハイパーリンクに基づく事前学習が、特にリソースが限られた環境や大規模微調整設定において、モデルの一般化性能を向上させるかどうかの評価。

提案手法

• ウェブコーパスから得られる大規模なハイパーリンクとアンカーテキストを、人為的で記述的な信号として事前学習の出力源とする。
• 4つの事前学習タスクを設計：(1) ペアの関連性ランク付け（RQP）、(2) ペアの関連性蒸留（RDP）、(3) クエリ-ドキュメントマッチング（QDM）、(4) アンカー同時出現モデリング（ACM）、それぞれがアンカーデータとドキュメントの意味的関係の異なる側面を捉える。
• 標準的なマスク言語モデル（MLM）目的関数と併せて、これらの4つのタスクを共同で事前学習することで、強固な表現を学習するTransformerモデルを訓練する。
• アンカーテキストの周囲の文脈を活用してクエリ表現を豊かにし、曖昧さを低減し、意味的関連性モデリングを向上させる。
• ラベル付き関連性判断を用いて、下流のアドホック検索タスクでHARP事前学習モデルを微調整する。
• MS MARCOおよびTREC-COVIDデータセットで、MRR@100およびMRR@10といった標準的なIR指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーリンクとアンカーテキストの信号は、アルゴリズム的に生成された疑似クエリペアに比べ、IR事前学習においてより信頼性の高い監視信号として機能するか？
• RQ2 アンカーデータとドキュメントの関係の異なる視点（例：関連性、文脈、同時出現）は、検索性能にどのように寄与するか？
• RQ3 ハイパーリンクに基づく事前学習は、リソースが限られた環境や大規模微調整シナリオにおいて、一般化性能をどの程度向上させるか？
• RQ4 MLMと複数のハイパーリンクベースタスクを共同で最適化することで、単一目的やBERTスタイルの事前学習に比べ、検索効果性が向上するか？

主な発見

• 4つの事前学習タスクのいずれかを削除すると性能が低下し、HARPフレームワークにおいて各タスクの有効性と不可欠性が確認された。
• RQPタスクを削除した場合に最も大きな性能低下が発生したため、アンカーとドキュメントの直接的な関連性モデリングが最も効果的なコンponentであることが示された。
• HARPは、MS MARCOおよびTREC-COVIDの両方で、すべての評価指標においてBERTを上回り、IR特化型事前学習の利点を実証した。
• 少データ設定（5～20個のラベル付きクエリ）でもHARPは強力な性能を維持し、データ効率性とデータスパarsityへのロバストネスが向上した。
• 大規模なクエリセット（50k～200k）では、HARPはベースラインを一貫して上回り、微調整データが増えるほど性能が向上した。これはスケーラビリティとラベル付きデータの効果的活用を示している。
• アブレーションスタディにより、MLM単体ではアドホック検索に不十分であり、最適な性能を得るためにはハイパーリンクベースの目的関数の追加が不可欠であることが確認された。