[論文レビュー] Decorate the Examples: A Simple Method of Prompt Design for Biomedical Relation Extraction

Hui-Syuan Yeh, Thomas Lavergne+1 more|arXiv (Cornell University)|Apr 21, 2022

Topic Modeling被引用数 7

ひとこと要約

本論文は、BioMed-RoBERTa-baseを用いて関係抽出をクローズド・テストタスクに変換することで、生物医学的関係抽出における効果的なプロンプトを体系的かつ自動的に設計する手法を提案する。ChemProtデータセットにおいて、標準的な微調整よりも14.21 F1向上、先行するSOTA（SciFive-Large）よりも1.14 F1向上を達成し、少量の訓練データでも優れたFew-shot性能と頑健性を示した。

ABSTRACT

Relation extraction is a core problem for natural language processing in the biomedical domain. Recent research on relation extraction showed that prompt-based learning improves the performance on both fine-tuning on full training set and few-shot training. However, less effort has been made on domain-specific tasks where good prompt design can be even harder. In this paper, we investigate prompting for biomedical relation extraction, with experiments on the ChemProt dataset. We present a simple yet effective method to systematically generate comprehensive prompts that reformulate the relation extraction task as a cloze-test task under a simple prompt formulation. In particular, we experiment with different ranking scores for prompt selection. With BioMed-RoBERTa-base, our results show that prompting-based fine-tuning obtains gains by 14.21 F1 over its regular fine-tuning baseline, and 1.14 F1 over SciFive-Large, the current state-of-the-art on ChemProt. Besides, we find prompt-based learning requires fewer training examples to make reasonable predictions. The results demonstrate the potential of our methods in such a domain-specific relation extraction task.

研究の動機と目的

• 標準的な微調整の代わりにプロンプトベース学習を用いることで、生物医学的関係抽出の性能を向上させること。
• 手作業による作業を排除するため、体系的かつ自動的なアプローチで包括的なプロンプトを生成すること。
• ChemProtデータセットにおける完全データおよびFew-shot設定の両方で、プロンプト設計の有効性を評価すること。
• 複数のランク付けスコア（語彙的類似度、BERTベースの類似度、信頼度スコアなど）を用いて、最適なプロンプト選択戦略を同定すること。
• ドメイン特化NLPタスクにおいて、データ要件を低減しつつ高い性能を維持できるプロンプト技術の有効性を示すこと。

提案手法

• 関係ラベルをマスクしたテンプレートを作成することで、関係抽出をクローズド・テストタスクに再定式化する。
• 文法的・意味的整合性を保ちつつ、多様なプロンプトをテンプレートベースのフレームワークを用いて体系的に生成する。
• 語彙的類似度、BERTベースの類似度、信頼度スコアなどの複数のランク付けスコアを用いて、最も効果的なプロンプトを選択する。
• 選択されたプロンプトを用いて、標準的な微調整の代わりにBioMed-RoBERTa-baseをChemProtデータセットで微調整する。
• 汎化性能とデータ効率を評価するため、完全データおよびFew-shot学習環境の両方で性能を評価する。
• F1スコアを用いて、標準的な微調整と現在のSOTAモデル（SciFive-Large）とを比較する。

実験結果

リサーチクエスチョン

• RQ1 標準的な微調整と比較して、プロンプトベース学習は生物医学的テキストにおける関係抽出の性能を顕著に向上させることができるか？
• RQ2 ドメイン特化タスクにおいて、手作業によるプロンプト設計を排除する体系的かつ自動的なプロンプト生成手法は、どの程度有効か？
• RQ3 Few-shot設定において、少量の訓練例でさえも高い性能を維持できるか？
• RQ4 語彙的、埋め込みベース、信頼度ベースのどのプロンプト選択戦略が、生物医学的関係抽出で最高の性能をもたらすか？
• RQ5 ChemProtベンチマークにおいて、プロンプトベース学習は現在のSOTAモデル（SciFive-Large）と比較してどの程度優れているか？

主な発見

• プロンプトベースの微調整は、ChemProtデータセットにおいて標準的な微調整より14.21 F1ポイントの向上を達成した。
• 本手法は、先行SOTAモデルであるSciFive-Largeを1.14 F1ポイント上回り、ChemProtにおける新たなSOTAを確立した。
• Few-shot設定でも強力な性能を維持したため、標準的な微調整と比較してデータ依存性が低いことが示された。
• 複数のランク付けスコアを用いたプロンプト選択は性能向上に顕著に寄与し、信頼度ベースおよびBERTベースのスコアが特に効果的であった。
• 手作業を一切行わず体系的に生成したプロンプトは、競争力のある結果をもたらし、ドメイン特化NLPにおけるスケーラビリティと効率性を示した。
• クローズド・テスト形式のプロンプト設計により、関係抽出タスクがマスク言語モデルの目的関数に効果的に変換され、事前学習モデルの直接的適応が可能になった。