[論文レビュー] MedCPT: Contrastive Pre-trained Transformers with Large-scale PubMed Search Logs for Zero-shot Biomedical Information Retrieval

Qiao Jin, Won Bae Kim+5 more|arXiv (Cornell University)|Jul 2, 2023

Topic Modeling参考文献 64被引用数 9

ひとこと要約

MedCPTは、255百万件のPubMedクリックログを用いて対照学習済みトランスフォーマーモデルを導入し、ゼロショットの意味論的生物医薬情報検索を可能にし、6つのタスクで最先端の結果を達成。

ABSTRACT

Information retrieval (IR) is essential in biomedical knowledge acquisition and clinical decision support. While recent progress has shown that language model encoders perform better semantic retrieval, training such models requires abundant query-article annotations that are difficult to obtain in biomedicine. As a result, most biomedical IR systems only conduct lexical matching. In response, we introduce MedCPT, a first-of-its-kind Contrastively Pre-trained Transformer model for zero-shot semantic IR in biomedicine. To train MedCPT, we collected an unprecedented scale of 255 million user click logs from PubMed. With such data, we use contrastive learning to train a pair of closely-integrated retriever and re-ranker. Experimental results show that MedCPT sets new state-of-the-art performance on six biomedical IR tasks, outperforming various baselines including much larger models such as GPT-3-sized cpt-text-XL. In addition, MedCPT also generates better biomedical article and sentence representations for semantic evaluations. As such, MedCPT can be readily applied to various real-world biomedical IR tasks.

研究の動機と目的

• 豊富なクエリと記事の注釈がない状態でゼロショットの意味論的生物医学IRを動機づける。
• 大規模なPubMedユーザークリックログを活用して対照的検索フレームワークを学習する。
• 生物医学における意味検索の改善のため、リトリーバとリランキングを緊密に統合。
• 複数の生物医薬IRタスクで基準モデルやはるかに大きなモデルより優れた性能を示す。

提案手法

• リトリーバとリランキングのデュアルコンポーネントからなる対照学習モデルをトレーニング。
• 対照学習を監督するために255百万のPubMedユーザークリックログを使用。
• クエリ表現と論文表現を整合させる対照損失で最適化。
• 論文レベルおよび文レベルの意味表現タスクで表現を評価。
• GPT-3規模のCPT-text-XLなどの大規模モデルを含むベースラインと比較。

実験結果

リサーチクエスチョン

• RQ1 大規模なPubMed検索ログでの対照的事前学習を介してゼロショットの生物医薬IRを達成できるか？
• RQ2 クリックデータで訓練されたリトリーバ–リランキングアーキテクチャは生物医薬IRタスクで語彙ベースのベースラインやより大きなモデルを上回るか？
• RQ3 学習された表現は生物医薬における論文と文の両方の意味的検索を改善するか？

主な発見

• MedCPTは6つの生物医薬IRタスクで新しい最先端の性能を設定。
• MedCPTはGPT-3規模のCPT-text-XLを含む様々なベースラインを上回る。
• MedCPTは意味評価のための生物医薬論文および文の表現をより良く生成する。