[논문 리뷰] Cross-lingual Argument Mining in the Medical Domain

Anar Yeginbergenova, Rodrigo Agerri|arXiv (Cornell University)|2023. 01. 25.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 기존 영어 코퍼스에서 기계 번역 및 레이블 투영을 통해 자동으로 스페인어로 주석이 달린 데이터셋을 생성함으로써 의료 분야의 다국어 논증 마이닝 방법을 제안한다. 이 방법은 mBERT를 사용한 제로샷 다국어 전이보다 성능이 뛰어나며, 합성된 스페인어 데이터는 영어 및 스페인어 벤치마크에서 성능을 향상시킨다. 이는 스페인어에서의 첫 번째 다국어 의료 논증 마이닝 데이터셋을 수립한다.

ABSTRACT

Nowadays the medical domain is receiving more and more attention in applications involving Artificial Intelligence as clinicians decision-making is increasingly dependent on dealing with enormous amounts of unstructured textual data. In this context, Argument Mining (AM) helps to meaningfully structure textual data by identifying the argumentative components in the text and classifying the relations between them. However, as it is the case for man tasks in Natural Language Processing in general and in medical text processing in particular, the large majority of the work on computational argumentation has been focusing only on the English language. In this paper, we investigate several strategies to perform AM in medical texts for a language such as Spanish, for which no annotated data is available. Our work shows that automatically translating and projecting annotations (data-transfer) from English to a given target language is an effective way to generate annotated data without costly manual intervention. Furthermore, and contrary to conclusions from previous work for other sequence labelling tasks, our experiments demonstrate that data-transfer outperforms methods based on the crosslingual transfer capabilities of multilingual pre-trained language models (model-transfer). Finally, we show how the automatically generated data in Spanish can also be used to improve results in the original English monolingual setting, providing thus a fully automatic data augmentation strategy.

연구 동기 및 목표

• 비영어 의료 텍스트, 특히 스페인어에서 주석이 달린 논증 데이터의 부족을 해결하기 위해.
• 영어로 주석이 달린 데이터만 존재하는 의료 분야에서의 다국어 논증 마이닝 전략을 평가하기 위해.
• 번역과 자동 레이블 투영을 사용하여 고품질의 저자원 주석 데이터를 스페인어로 개발하고 검증하기 위해.
• mBERT를 사용한 제로샷 다국어 전이와 자동으로 생성된 스페인어 주석을 활용한 데이터 증강의 효과를 비교하기 위해.
• 번역 및 투영을 통해 생성된 합성 데이터가 원천(영어) 및 대상(스페인어) 언어 양쪽에서 모델 성능 향상에 기여할 수 있음을 입증하기 위해.

제안 방법

• OPUS-MT와 DeepL를 사용하여 영어 AbstRCT 코퍼스를 스페인어로 기계 번역.
• 단어 정렬 도구를 사용하여 영어에서 스페인어로의 자동 레이블 투영을 수행하여 논증 성분 경계 및 관계를 유지.
• 품질과 일관성을 향상시키기 위해 수동 및 자동 후처리 보정을 수행.
• 생성된 스페인어 데이터 및 통합된 영어-스페인어 데이터셋에 대해 다국어 및 도메인 특화 모델(mBERT, SciBERT, BERT)을 피니튜닝.
• 논증 성분 분류(Major Claim, Claim, Premise) 및 관계 분류(Support, Attack, No Relation)를 위한 시퀀스 레이블링 모델의 학습 및 평가.
• mBERT를 사용한 제로샷 다국어 추론과 합성 스페인어 데이터에 대해 피니튜닝된 모델, 혼합 언어 학습 설정의 성능을 비교.

실험 결과

연구 질문

• RQ1 번역과 레이블 투영을 통해 자동으로 생성된 스페인어 논증 데이터는 의료 분야의 논증 마이닝에 효과적으로 기여할 수 있는가?
• RQ2 번역 및 투영 방법은 mBERT와 같은 다국어 모델을 사용한 제로샷 다국어 전이를 능가하는가?
• RQ3 합성 스페인어 데이터로 학습하면 스페인어 및 영어 논증 마이닝 벤치마크에서 성능 향상이 어느 정도 이루어지는가?
• RQ4 제로샷 다국어 예측에서 주로 발생하는 오류 패턴은 무엇이며, 단일 언어 또는 혼합 언어 학습과는 어떻게 다를까?
• RQ5 논증 관계 분류 성능은 문맥 정보에 얼마나 의존하는가? 그리고 합성 데이터는 이 문제를 완화시킬 수 있는가?

주요 결과

• 번역 및 투영 방법은 특히 논증 성분 분류에서 mBERT를 사용한 제로샷 다국어 전이를 뚜렷이 뛰어넘었다.
• 자동으로 생성된 스페인어 데이터셋에 대해 피니튜닝한 결과, 원본 영어 벤치마크 성능이 향상되어 효과적인 데이터 증강이 이루어졌음을 시사한다.
• 스페인어 데이터에 대해 제로샷 예측을 수행한 결과, 단일 언어 학습 대비 약 3% 정도 F1 점수가 낮게 나타났으며, 주요 오류는 시퀀스 중간에서 태그 할당 오류였다.
• 가장 흔한 오분류 유형은 'Claim' 타입이었으며, 특히 복잡하거나 모호한 문장 구조에서 두드러졌다.
• 데이터 불균형과 부족한 문맥 정보로 인해 관계 분류 성능은 여전히 낮았으며, 테스트된 모델들 중 SciBERT가 가장 높은 F1 점수를 기록했다.
• 본 연구는 의료 분야에서 다국어 논증 마이닝을 위한 첫 번째 주석이 달린 스페인어 데이터셋을 성공적으로 구축하여 향후 생물의학 분야의 다국어 논증 연구를 가능하게 하였다.