[論文レビュー] Models and Data for Simple Applications of BERT for Ad Hoc Document Retrieval

Yang, Wei, Wei Yang+1 more|arXiv (Cornell University)|Mar 26, 2019

Topic Modeling参考文献 23被引用数 133

ひとこと要約

この論文は、単純な文レベルのBERTアプローチを用いてアドホック文書検索を行い、文スコアを集約して長い文書をランク付けし、MicroblogとRobust04データセットで強力な結果を達成している。

ABSTRACT

Following recent successes in applying BERT to question answering, we explore simple applications to ad hoc document retrieval. This required confronting the challenge posed by documents that are typically longer than the length of input BERT was designed to handle. We address this issue by applying inference on sentences individually, and then aggregating sentence scores to produce document scores. Experiments on TREC microblog and newswire test collections show that our approach is simple yet effective, as we report the highest average precision on these datasets by neural approaches that we are aware of.

研究の動機と目的

• 長い文書と限られた文レベルの関連データにもかかわらず、BERTをアドホック文書検索に適用する動機付け。
• 文書レベルのラベルでの複雑なファインチューニングを避ける、単純な推論と集約手法の提案。
• TREC Microblog TracksとRobust04で手法を評価し、ニューラルのベースライン性能を確立。
• スコア集約を伴う文レベルの推論が、従来のニューラルモデルと競合する、あるいはそれを上回る結果をもたらすことを示す。

提案手法

• 初期検索にAnseriniを、文レベルの関連性分類にBERTを使用する。
• 利用可能な文レベルデータ（マイクロブログ、QA、WikiQA など）でBERTをファインチューニングし、CLS埋め込みを用いた2値関連性分類を適用する。
• 短い文書（マイクロブログ）の場合、クエリと文書を連結してBERTの入力とし、BERTスコアとIRスコアを補間する。
• 長い文書（ニュースワイヤー）の場合、上位の文のBERTスコアを計算し、元の文書スコアと重み付き和で集約する（ハイパーパラメータaとw_iを使用）。
• 補間重みと文の数（上位n文）を交差検証で調整する。
• 評価指標としてAPとP30を報告し、BM25+RM3やさまざまなニューラルベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 文書とBERT入力の長さの不一致を考慮して、BERTをアドホック文書検索に効果的に適用できるか。
• RQ2 スコア集約を伴う文レベル推論は、標準データセットで従来のニューラルランキングモデルと競合するか、それを上回るか。
• RQ3 retrieval の効果に対するファインチューニングデータソース（マイクロブログ vs QA/WikiQA）の影響は何か。
• RQ4 上位の文を集約することは、検索のために全文書スコアを使用することとどう比較されるか。

主な発見

• BERTベースのスコアリングは、単純な文レベル推論を用いることでMicroblogトラックで従来のニューラルモデルを上回り、APとP30で大きな改善を達成。
• Robust04では、マイクロブログデータでファインチューニングする方がQAベースのファインチューニングよりも性能が良く、タスクの関連性がデータのジャンルよりも重要であることを示唆。
• Robust04での最良の結果は上位3文を用いる場合であり、調整設定下では4文を追加しても効果はない。
• BM25+RM3は依然として強力なベースラインであり、ニューラルモデルを上回ることもあるが、提案されるBERTベースのリランキングはさらに有意な改善をもたらす。
• 評価されたすべてのデータセットで、単純な文レベル集約アプローチは、これらのタスクに関して当時報告されていたニューラル手法の中で最先端の結果を示す。