[論文レビュー] Meta Adaptive Neural Ranking with Contrastive Synthetic Supervision.

Si Sun, Yingzhuo Qian+6 more|arXiv (Cornell University)|Dec 29, 2020

Topic Modeling参考文献 55被引用数 5

ひとこと要約

本稿では、対照的クエリ生成とメタラーニングを用いた対照的弱教師信号の生成とフィルタリングにより、少数の例におけるニューラル情報検索（IR）性能を向上させるメタ適応型ニューラルランクフレームワークを提案する。ウェブ、ニュース、バイオメディカル分野において、大規模な人手によるラベルデータに依存せずに、顕著な性能向上を達成した。

ABSTRACT

Neural Information Retrieval (Neu-IR) models have shown their effectiveness and thrive from end-to-end training with massive high-quality relevance labels. Nevertheless, relevance labels at such quantity are luxury and unavailable in many ranking scenarios, for example, in biomedical search. This paper improves Neu-IR in such few-shot search scenarios by meta-adaptively training neural rankers with synthetic weak supervision. We first leverage contrastive query generation (ContrastQG) to synthesize more informative queries as in-domain weak relevance labels, and then filter them with meta adaptive learning to rank (MetaLTR) to better generalize neural rankers to the target few-shot domain. Experiments on three different search domains: web, news, and biomedical, demonstrate significantly improved few-shot accuracy of neural rankers with our weak supervision framework. The code of this paper will be open-sourced.

研究の動機と目的

• 少数の例におけるニューラルIRシナリオ、特にバイオメディスインの分野において、高品質な関連性ラベルが限られているという課題に対処すること。
• バイオメディカル検索を含む低リソース設定において、情報豊富な合成関連性ラベルを生成することで、ニューラルランカーの一般化性能を向上させること。
• 合成クエリをより良いドメイン適応のためにフィルタリング・最適化するメタ適応型学習フレームワークを開発すること。
• 膨大な人手による関連性データを必要とせずに、ニューラルランカーの効果的なエンドツーエンド学習を可能にすること。

提案手法

• 対照的クエリ生成（ContrastQG）を用いて、ドメイン固有の多様なクエリを合成し、弱教師信号として用いる。
• 正例と負例のパassageを対照的に比較することで、関連性信号の質を向上させる。
• メタ適応型学習（MetaLTR）を適用し、合成ラベル上でランカーをファインチューニングすることで、ターゲットドメインへの一般化性能を向上させる。
• メタラーニングを用いて、複数の合成タスクにわたる一般化性能を最適化することで、モデルを少数の例のドメインに適応させる。
• 関連性信号の整合性を保ちながら、微分可能パイプラインによりクエリ生成とランク付けを共同最適化する。
• 最終的なモデルは合成データ上でエンドツーエンドで学習され、ゼロショットおよび少数の例における性能向上を図るためにメタラーニングでファインチューニングされる。

実験結果

リサーチクエスチョン

• RQ1 対照的クエリ生成は、少数の例におけるニューラルランク性能を向上させる高品質な合成関連性ラベルを生成できるか？
• RQ2 メタ適応型学習は、より良いドメイン一般化を実現するために、ノイズの多い合成ラベルを効果的にフィルタリング・最適化できるか？
• RQ3 提案されたフレームワークは、多様なドメインにおける低リソース設定で、強力なベースラインを上回る性能を示すか？
• RQ4 合成教師信号は、ニューラルIRにおける人手による関連性データへの依存度をどの程度低減できるか？

主な発見

• 提案手法は、ウェブ、ニュース、バイオメディカル検索ベンチマークにおいて、強力なベースラインと比較して、少数の例におけるランク精度を顕著に向上させた。
• 対照的クエリ生成は、標準的な生成手法よりも情報豊かな合成クエリを生成でき、これにより下流のランク性能が向上した。
• メタ適応型学習は、ノイズの多い合成ラベルを効果的にフィルタリングし、低リソースドメインにおける一般化性能を向上させた。
• わずか数個のラベル付き例しか存在しない状況でも、強力な少数の例における一般化性能を達成した。
• バイオメディカル検索のようにラベルデータが乏しい分野においても、モデルは効果的に一般化した。
• コードのオープンソース化により、再現性が確保され、低リソースニューラルIR分野におけるさらなる研究が可能になった。