[논문 리뷰] Scope of Pre-trained Language Models for Detecting Conflicting Health Information

Joseph Gatto, Madhusudan Basak외 1명|arXiv (Cornell University)|2022. 09. 22.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 사전 훈련된 언어 모델을 사용하여 건강 갈등 검출(HCD)을 도입하며, 제한된 실세계 HCD 데이터셋을 확장하기 위해 인간이 참여하는 합성 데이터 증강 방법을 제안한다. DeBERTa-v3는 평균 F1 점수 0.68을 기록하여 가장 높은 성능을 보였으며, 합성 데이터 덕분에 다양한 갈등 유형에서 모델의 일반화 능력이 향상되었으며, 확장된 데이터셋은 GitHub에 공개되었다.

ABSTRACT

An increasing number of people now rely on online platforms to meet their health information needs. Thus identifying inconsistent or conflicting textual health information has become a safety-critical task. Health advice data poses a unique challenge where information that is accurate in the context of one diagnosis can be conflicting in the context of another. For example, people suffering from diabetes and hypertension often receive conflicting health advice on diet. This motivates the need for technologies which can provide contextualized, user-specific health advice. A crucial step towards contextualized advice is the ability to compare health advice statements and detect if and how they are conflicting. This is the task of health conflict detection (HCD). Given two pieces of health advice, the goal of HCD is to detect and categorize the type of conflict. It is a challenging task, as (i) automatically identifying and categorizing conflicts requires a deeper understanding of the semantics of the text, and (ii) the amount of available data is quite limited. In this study, we are the first to explore HCD in the context of pre-trained language models. We find that DeBERTa-v3 performs best with a mean F1 score of 0.68 across all experiments. We additionally investigate the challenges posed by different conflict types and how synthetic data improves a model's understanding of conflict-specific semantics. Finally, we highlight the difficulty in collecting real health conflicts and propose a human-in-the-loop synthetic data augmentation approach to expand existing HCD datasets. Our HCD training dataset is over 2x bigger than the existing HCD dataset and is made publicly available on Github.

연구 동기 및 목표

• 온라인 플랫폼에서 한 맥락에서는 정확한 정보이지만 다른 맥락에서는 갈등이 발생할 수 있는 건강 갈등을 탐지하는 데 도전하는 것.
• 사전 훈련된 언어 모델을 활용해 확장 가능하고 맥락 인식 능력이 있는 갈등 식별 및 분류 방법을 개발하는 것.
• 인간의 참여를 통한 합성 데이터 생성 방법을 제안하여 애너테이션된 HCD 데이터의 부족함을 해결하는 것.
• 데이터 증강을 통해 직접적, 시간적, 조건부, 부타입 갈등과 같은 다양한 갈등 유형에 대한 모델의 강건성 향상.
• 미래의 맥락 기반 건강 정보 시스템 연구를 지원하기 위해 공개된 확장된 HCD 데이터셋을 제공하는 것.

제안 방법

• 이진 및 다중 클래스 갈등 탐지 작업을 위해 인간이 애너테이션한 HCD 데이터셋에 대해 BERT, RoBERTa, DeBERTa-v3, ELECTRA, DistilBERT 등 다섯 가지 사전 훈련된 언어 모델을 피지컬 테스트한다.
• 현장 작업자들이 실제 HCD 예시에서 유도된 프롬프트를 바탕으로 갈등 쌍을 생성하는 인간이 참여하는 합성 데이터 생성 파이프라인을 구현한다.
• 모델의 해석 가능성 확보를 위해 Captum을 사용하여 토큰 기여도 점수를 생성하여 모델의 주의 집중 방식이 인간의 판단과 일치하는지 검증한다.
• 데이터 증강을 적용하여 원본 HCD 데이터셋 대비 훈련 데이터셋 크기를 2배 이상 증가시켜 모델의 일반화 능력을 향상시킨다.
• 갈등을 직접적, 시간적, 조건부, 부타입의 네 가지 유형으로 분류하며, 각각 다른 언어 패턴을 요구하여 세밀한 모델링이 필요하다.
• 모든 갈등 유형에 걸쳐 평균 F1 점수를 사용해 모델 성능을 평가하고, 각 갈등 유형별 성능을 분석하여 모델의 강점과 한계를 파악한다.

실험 결과

연구 질문

• RQ1 다양한 갈등 유형에서 건강 갈등 검출(HCD) 작업에 대해 가장 우수한 성능을 보이는 사전 훈련된 언어 모델 아키텍처는 무엇인가?
• RQ2 합성 데이터 증강은 실제 세계 HCD 예제에서의 모델 일반화 능력과 성능을 어떻게 향상시키는가?
• RQ3 Captum를 통해 도출된 모델 주의 패턴은 갈등 탐지에서 입력 중요도에 대한 인간의 판단과 어느 정도 일치하는가?
• RQ4 직접적, 시간적, 조건부, 부타입 갈등 유형은 자연어 처리(NLP) 모델에게 어떤 다른 도전 과제를 제기하는가?
• RQ5 인간이 참여하는 합성 데이터 생성 방법은 제한된 HCD 데이터셋을 효과적으로 확장하면서도 의미적 및 언어적 정밀도를 유지할 수 있는가?

주요 결과

• DeBERTa-v3는 모든 갈등 유형에서 평균 F1 점수 0.68을 기록하여 복잡하고 미묘한 의미 갈등을 다루는 데 다른 모델들을 능가한다.
• 합성 데이터 증강은 실제 세계 HCD 데이터에서의 모델 성능 향상에 기여하며, 실제 예제와 합성 예제 간의 스타일이나 내용 정확도의 차이에 영향을 받지 않는다.
• Captum에서 도출된 토큰 기여도 점수는 인간의 입력 중요도 판단과 강한 일치를 보이며, 갈등 탐지에서 모델의 해석 가능성 검증에 기여한다.
• 조건부 및 시간적 갈등은 탐지가 비교적 쉬운 반면, 부타입 및 직접적 갈등은 미묘한 의미 패턴으로 인해 더 큰 도전 과제를 안고 있다.
• 제안된 인간이 참여하는 합성 데이터 생성 방법은 원본 데이터셋보다 두 배 이상 큰 HCD 데이터셋을 성공적으로 확장했으며, GitHub에 공개되었다.
• 본 연구는 공식 및 비공식 출처(예: 소셜 미디어) 간의 갈등을 탐지할 수 있음을 확인하여 건강 정보 오남용의 조기 탐지 가능성을 제시한다.