[論文レビュー] SemEval-2023 Task 7: Multi-Evidence Natural Language Inference for Clinical Trial Data

Maël Jullien, Marco Valentino+4 more|arXiv (Cornell University)|May 4, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文は、臨床試験データを用いたマルチエビデンス自然言語推論（NLI）およびエビデンス選択のベンチマークであるSemEval-2023 Task 7を提示する。このタスクは、複雑なマルチホップおよび数値的推論を要する。最高性能を示したシステムは、帰結タスクでF1スコア0.856、エビデンス選択タスクで0.853を達成し、モデルサイズが生物医学的事前学習よりも強い影響を持つことが判明した。

ABSTRACT

This paper describes the results of SemEval 2023 task 7 -- Multi-Evidence Natural Language Inference for Clinical Trial Data (NLI4CT) -- consisting of 2 tasks, a Natural Language Inference (NLI) task, and an evidence selection task on clinical trial data. The proposed challenges require multi-hop biomedical and numerical reasoning, which are of significant importance to the development of systems capable of large-scale interpretation and retrieval of medical evidence, to provide personalized evidence-based care. Task 1, the entailment task, received 643 submissions from 40 participants, and Task 2, the evidence selection task, received 364 submissions from 23 participants. The tasks are challenging, with the majority of submitted systems failing to significantly outperform the majority class baseline on the entailment task, and we observe significantly better performance on the evidence selection task than on the entailment task. Increasing the number of model parameters leads to a direct increase in performance, far more significant than the effect of biomedical pre-training. Future works could explore the limitations of large models for generalization and numerical inference, and investigate methods to augment clinical datasets to allow for more rigorous testing and to facilitate fine-tuning. We envisage that the dataset, models, and results of this task will be useful to the biomedical NLI and evidence retrieval communities. The dataset, competition leaderboard, and website are publicly available.

研究の動機と目的

• 臨床試験報告書におけるマルチエビデンス自然言語推論のためのシステムを開発・評価すること。マルチホップおよび数値的推論を要する。
• NLPモデルが帰結予測を正当化するため、臨床試験文書から支援エビデンスを抽出する性能を評価すること。
• モデルサイズと生物医学的事前学習が臨床NLPタスクにおける推論に与える影響を調査すること。
• 証拠に基づく医療および臨床意思決定支援システムの発展を促進するため、公開可能なデータセットとベンチマークを提供すること。

提案手法

• 本タスクは、2,000件を超える臨床試験報告書（CTRs）を含むデータセットを用い、自然言語文とその対応する帰結ラベル（帰結、矛盾、中立）をアノテートしている。
• 参加者は2つのタスクを実行する必要があった：(1) 文とCTRs間の帰結関係を予測すること、(2) ラベルを正当化するためCTRから支援エビデンスを抽出すること。
• NLI4CTデータセットは、ネガティブリライト戦略を用いて構築され、CTRsの前提文ごとに1つの帰結文と1つの矛盾文が生成された。
• F1スコアを用いて帰結タスクおよびエビデンス選択タスクの両方でシステムを評価し、パブリックリーダーボードに集計された結果が使用された。
• エビデンス抽出と推論の順序、確認バイアスおよび統計的アーチファクトの有無を含む、システム行動の分析が行われた。
• 表面的なパターンやトークン分布バイアスが性能を誇張していないかを検証する統計的妥当性のチェックが実施された。

Figure 1: We propose two tasks for reasoning on clinical trial data expressed in natural language. Firstly, to predict the entailment of a Statement and a CTR premise, and secondly, to extract evidence to support the label.

実験結果

リサーチクエスチョン

• RQ1 最先端のNLPモデルは、臨床試験データにおけるマルチエビデンスNLIおよびエビデンス選択タスクでどの程度の性能を示すか？
• RQ2 モデルサイズと生物医学的事前学習の両者が、臨床NLIタスクのパフォーマンスに与える相対的影響は何か？
• RQ3 エビデンス選択と帰結分類の順序が、システムのパフォーマンスに影響を与えるか？
• RQ4 文の統計的アーチファクトや表面的なパターンが、モデルの予測にどの程度影響を与えるか？
• RQ5 マルチホップおよび数値的推論に依存する場合、システムは臨床NLIに効果的に一般化できるか？

主な発見

• 最高性能を示したシステム、@THiFLYは、帰結タスクでF1スコア0.856、エビデンス選択タスクで0.853を達成した。
• 大多数の参加システムは、帰結タスクで母集団クラスベースラインを顕著に上回れず、タスクの難易度が非常に高いことが示された。
• エビデンス選択タスクのパフォーマンスは、帰結タスクよりも一貫して高く、やや容易であると考えられる。
• モデルサイズの増加が、生物医学的事前学習よりもより強い正の影響を与えた。生物医学的事前学習は比較的わずかな影響にとどまった。
• エビデンス選択を推論の前に実行したシステムは、有意に高いF1スコアおよび適合率スコアを示し、確認バイアスを回避したと考えられる。
• テストセットにおいて、帰結クラス間で顕著なトークン分布や長さバイアスが見つからなかったため、データセットは統計的アーチファクトに対して頑健であることが判明した。

Figure 2: Graph comparing system F1 scores across the entailment task and the evidence selection task