[論文レビュー] Cross-lingual Argument Mining in the Medical Domain

Anar Yeginbergenova, Rodrigo Agerri|arXiv (Cornell University)|Jan 25, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、既存の英語コーパスからの機械翻訳とラベルプロジェクションを用いて自動的にスペイン語アノテートデータセットを生成することで、医療分野におけるクロスリンガル・アーギュメンテーション・マインィング手法を提案する。この手法はmBERTを用いたゼロショットクロスリンガル転送を上回り、合成スペイン語データは英語およびスペイン語のベンチマークの両方で性能を向上させ、スペイン語における最初のマルチリンガル医療アーギュメンテーション・マインィングデータセットを確立した。

ABSTRACT

Nowadays the medical domain is receiving more and more attention in applications involving Artificial Intelligence as clinicians decision-making is increasingly dependent on dealing with enormous amounts of unstructured textual data. In this context, Argument Mining (AM) helps to meaningfully structure textual data by identifying the argumentative components in the text and classifying the relations between them. However, as it is the case for man tasks in Natural Language Processing in general and in medical text processing in particular, the large majority of the work on computational argumentation has been focusing only on the English language. In this paper, we investigate several strategies to perform AM in medical texts for a language such as Spanish, for which no annotated data is available. Our work shows that automatically translating and projecting annotations (data-transfer) from English to a given target language is an effective way to generate annotated data without costly manual intervention. Furthermore, and contrary to conclusions from previous work for other sequence labelling tasks, our experiments demonstrate that data-transfer outperforms methods based on the crosslingual transfer capabilities of multilingual pre-trained language models (model-transfer). Finally, we show how the automatically generated data in Spanish can also be used to improve results in the original English monolingual setting, providing thus a fully automatic data augmentation strategy.

研究の動機と目的

• 英語以外の医療テキスト、特にスペイン語において、アノテート済みの議論データが不足しているという問題に対処すること。
• 英語アノテートデータのみが利用可能な医療分野におけるクロスリンガル・アーギュメンテーション・マインィング戦略を評価すること。
• 翻訳と自動ラベルプロジェクションを用いて、スペイン語における高品質で低リソースのアノテートデータを生成・検証する手法を開発すること。
• mBERTを用いたゼロショットクロスリンガル転送と、自動生成されたスペイン語アノテーションを用いたデータ拡張の有効性を比較すること。
• 翻訳とプロジェクションから得られる合成データが、元の言語（英語）およびターゲット言語（スペイン語）の両方でモデル性能を向上させることを実証すること。

提案手法

• OPUS-MTおよびDeepLを用いて、英語のAbstRCTコーパスをスペイン語に機械翻訳する。
• 語のアライメントツールを用いて、英語からスペイン語への自動ラベルプロジェクションを実施し、議論的コンポーネントの境界と関係を保持する。
• 品質と一貫性を向上させるために、プロジェクションされたアノテーションの手動および自動の後処理を実施する。
• 生成されたスペイン語データおよび統合された英語・スペイン語データセット上で、マルチリンガルおよびドメイン特化モデル（mBERT、SciBERT、BERT）をファインチューニングする。
• アーギュメントコンポーネント分類（主要主張、主張、前提）および関係分類（支援、攻撃、関係なし）のためのシーケンスラベル付けモデルの訓練および評価を行う。
• mBERTを用いたゼロショットクロスリンガル推論と、合成スペイン語データでファインチューニングしたモデル、および混合言語学習設定の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 翻訳とラベルプロジェクションを用いて自動生成されたスペイン語議論データは、医療分野におけるアーギュメンテーション・マインィングを効果的に支援できるか？
• RQ2 翻訳・プロジェクション手法は、mBERTのようなマルチリンガルモデルを用いたゼロショットクロスリンガル転送を上回るか？
• RQ3 合成スペイン語データで学習させることで、スペイン語および英語のアーギュメンテーション・マインィングベンチマークにおける性能はどの程度向上するか？
• RQ4 ゼロショットクロスリンガル予測における主な誤りパターンは何か？また、単言語または混合言語学習とはどのように異なるか？
• RQ5 議論関係分類の性能は文脈情報にどの程度依存しているか？また、合成データはこの問題を緩和できるか？

主な発見

• 翻訳とプロジェクション手法は、mBERTを用いたゼロショットクロスリンガル転送を顕著に上回り、特にアーギュメントコンポーネント分類において顕著な優位性を示した。
• 自動生成されたスペイン語データセットでファインチューニングした結果、元の英語ベンチマークでも性能が向上した。これは、効果的なデータ拡張であることを示している。
• スペイン語データに対するゼロショット予測では、単言語学習と比較してF1スコアが約3%低く、主な誤りはシーケンスの中盤における誤ったタグ割り当てであった。
• 最も頻度の高かった誤分類は「主張」タイプであり、特に構造が複雑または曖昧な文において顕著であった。
• データの不均衡と文脈情報の不足のため、関係分類の性能は低く抑えられていたが、SciBERTがテストしたモデルの中で最高のF1スコアを記録した。
• 本研究では、初めてのアノテート済みスペイン語医療アーギュメンテーション・マインィングデータセットを成功裏に構築した。これにより、バイオメディスインの分野におけるマルチリンガル議論分析の今後の研究が可能になった。