[論文レビュー] ITTC @ TREC 2021 Clinical Trials Track

Thinh Hung Truong, Yulia Otmakhova+7 more|arXiv (Cornell University)|Feb 16, 2022

Biomedical Text Mining and Ontologies被引用数 4

ひとこと要約

本論文は、TREC 2021 臨床試験トラック用に開発されたITTCシステムを提示する。このシステムは、完全なテキスト、キーワード、エンティティベースのクエリといった複数のテキスト表現戦略を組み合わせ、BM25検索を用いて入院ノートと適合する臨床試験をマッチングする。最高成績を収めたラン（Run 5）はAP@10が0.273を達成し、中央値を著しく上回った。これは、否定を考慮したエンティティフィルタリングが、標準的なキーワード法や全文検索法よりも検索性能を向上させることを示している。

ABSTRACT

This paper describes the submissions of the Natural Language Processing (NLP) team from the Australian Research Council Industrial Transformation Training Centre (ITTC) for Cognitive Computing in Medical Technologies to the TREC 2021 Clinical Trials Track. The task focuses on the problem of matching eligible clinical trials to topics constituting a summary of a patient's admission notes. We explore different ways of representing trials and topics using NLP techniques, and then use a common retrieval model to generate the ranked list of relevant trials for each topic. The results from all our submitted runs are well above the median scores for all topics, but there is still plenty of scope for improvement.

研究の動機と目的

• 臨床試験と入院ノートの自動マッチングを改善するNLPベースのシステムの開発。
• 異なるテキスト表現（全文、キーワード、エンティティ）が、患者-試験マッチングにおける検索性能に与える影響を調査すること。
• 特に臨床試験の挿入・除外基準における否定の処理戦略を評価すること。
• 臨床テキストにおける省略語、暗黙の診断、および患者要約のノイズ情報といった課題に対処すること。
• 意味的・構造的テキスト解析を用いて、臨床試験の被験者抽出を効率化することで、登録効率の向上を図ること。

提案手法

• トピッククエリに基づく臨床試験のランク付けのため、ベースライン検索モデルにBM25を用いた。
• 複数のクエリ表現方法を検討した：全文、キーワード抽出語、および患者ノートからのエンティティベース文字列。
• 否定検出を適用し、クエリ表現から否定されたエンティティを除外することで、特異性を向上させた。
• 臨床試験文書を挿入基準と除外基準に分離し、集合差分を用いて結果を精査した。
• 年齢、性別、臨床変数などのメタデータをテキスト表現と組み合わせ、関連性を向上させた。
• AP@10を用いて性能を評価し、全チームのベースラインおよび中央値スコアと比較した。

実験結果

リサーチクエスチョン

• RQ1 異なるテキスト表現方法（全文、キーワード、エンティティ）が、患者-試験マッチングにおける検索性能に与える影響は何か？
• RQ2 否定を考慮したクエリ構築は、適合する臨床試験の特定を向上させられるか？
• RQ3 挿入基準と除外基準を組み合わせる集合差分アプローチは、関連する試験をフィルタリングする上でどれほど効果的か？
• RQ4 年齢、性別などの構造的メタデータを組み込むことで、純粋なテキストマッチングに比べて検索性能が向上するか？
• RQ5 臨床テキストにおける主な課題は何か？ これらが特定トピックで性能が低い原因となるか？

主な発見

• 最高成績を収めたラン（Run 5：エンティティ中心で否定を考慮）は、AP@10が0.273を達成し、全チームの中央値スコアを0.111ポイント上回った。
• 提出された全ランがベースライン（AP@10 = 0.216）を上回り、特にRun 3（挿入・除外テキストの集合差分）が中央値スコアで最大0.127ポイントの改善を示した。
• キーワードベースのクエリ表現を用いたランは、全文またはエンティティベースの方法より成績が悪く、キーワード抽出による情報損失が原因と考えられた。
• 否定されたエンティティをクエリから除外した（Run 5）戦略は、キーワードの極性を反転させる（Run 2）戦略よりも効果的であり、否定の意味的処理がより適切に行われたことを示唆した。
• 省略語の密度が高かったトピック（例：トピック9, 10, 32, 53）や、医療用語の頻度が低かったトピック（例：トピック44）は、常にマッチングが困難であり、主にコロナに適合する試験が少なかったためであった。
• 年齢、性別、臨床変数などのメタデータをテキストと組み合わせることで、検索性能が向上した。これは、Run 2が全文ベースラインを上回ったことからも明らかである。