[논문 리뷰] Clinical Document Classification Using Labeled and Unlabeled Data Across Hospitals

Hamed Hassanzadeh, Mahnoosh Kholghi외 2명|PubMed|2018. 12. 03.

COVID-19 diagnosis using AI참고 문헌 13인용 수 7

한 줄 요약

이 연구는 라벨이 부족한 임상 문서에서 이상 징후 탐지 성능을 향상시키기 위해 외부 병원에서의 사전 훈련된 모델과 라벨 없이 사용 가능한 방사선 검사 보고서를 활용하는 준지도 학습 전이 학습 프레임워크를 제안한다. 이 방법은 컨volutional 신경망(CNNs)을 사용한 자기학습(self-training)을 적용하여 라벨이 부족한 데이터의 70%만으로 RCH 데이터셋에서 F1 스코어 97.44%를 달성하며, 완전히 지도 학습된 모델보다 뛰어나고 라벨링 요구 사항을 50% 이상 감소시킨다.

ABSTRACT

Reviewing radiology reports in emergency departments is an essential but laborious task. Timely follow-up of patients with abnormal cases in their radiology reports may dramatically affect the patient's outcome, especially if they have been discharged with a different initial diagnosis. Machine learning approaches have been devised to expedite the process and detect the cases that demand instant follow up. However, these approaches require a large amount of labeled data to train reliable predictive models. Preparing such a large dataset, which needs to be manually annotated by health professionals, is costly and time-consuming. This paper investigates a semi-supervised transfer learning framework for radiology report classification across three hospitals. The main goal is to leverage both vastly available clinical unlabeled data and already learned knowledge in order to improve a learning model where limited labeled data is available. Our experimental findings show that (1) convolutional neural networks (CNNs), while being independent of any problem-specific feature engineering, achieve significantly higher effectiveness compared to conventional supervised learning approaches, (2) leveraging unlabeled data in training a CNN-based classifier reduces the dependency on labeled data by more than 50% to reach the same performance of a fully supervised CNN, and (3) transferring the knowledge gained from available labeled data in an external source hospital significantly improves the performance of a semi-supervised CNN model over their fully supervised counterparts in a target hospital.

연구 동기 및 목표

• 임상 NLP에서 수작업 레이블링의 높은 비용과 노력 문제를 해결하기 위해 라벨 데이터 의존도를 줄이기 위해 방사선 검사 보고서 분류에 적용한다.
• 병원 간 풍부한 라벨 없이 사용 가능한 임상 텍스트를 활용하여 자원이 부족한 환경에서의 분류 성능을 향상시킨다.
• 소스 병원에서의 라벨 데이터를 기반으로 한 지식 전이를 통해 라벨 데이터가 제한된 대상 병원에서의 모델 성능을 향상시킨다.
• 준지도 학습과 전이 학습을 조합하여 방사선 검사 보고서의 이상 징후 탐지에 효과적인지 평가한다.

제안 방법

• 문제 특화의 특징 공학 없이도 효과적인 표현 학습이 가능한 원시 텍스트에서의 엔드 투 엔드 학습을 위해 컨volutional 신경망(CNNs)을 활용한다.
• 자기학습을 준지도 학습 방법으로 적용: 대상 병원의 라벨 없이 사용 가능한 데이터에 대해 고신뢰도 예측을 반복적으로 재학습하여 모델을 업데이트한다.
• 소스 병원(예: 성인 또는 소아 병원)에서 훈련된 사전 훈련된 모델의 지식을 전이 학습을 통해 대상 모델에 통합한다.
• 대상 병원의 라벨 없이 사용 가능한 데이터와 소스 병원의 라벨 데이터를 병합하여 일반화 및 성능 향상을 위한 병합 훈련 전략을 구현한다.
• 다양한 인구 통계적 특성을 지닌 세 곳의 호주 병원(성인, 소아, 혼합)을 대상으로 다중 병원 평가 프레임워크를 구축하여 모델의 강건성과 전이 가능성 평가한다.
• 기본 모델 대비 성능 향상 여부를 검증하기 위해 통계적 유의성 검정(p < 0.05)을 적용한다.

실험 결과

연구 질문

• RQ1 RQ1: 임상 문서 분류에 효과적인 학습 모델을 구축하기 위해 기존의 지도 학습 또는 딥 러닝 접근 방식 중 어느 것이 더 효과적인가?
• RQ2 RQ2: 준지도 학습이 라벨 데이터 부족 문제를 해결하여 임상 문서 분류에 효과적인 학습 모델을 구축하는 데 얼마나 기여하는가?
• RQ3 RQ3: 외부 소스 병원에서 사전에 구축된 모델의 지식을 준지도 학습 프레임워크에 어떻게 활용하여 분류 작업 성능을 추가로 향상시킬 수 있는가?

주요 결과

• CNNs는 문제 특화의 특징 공학이 필요 없이도 전통적인 지도 학습 방법보다 방사선 검사 보고서 분류에서 더 높은 성능을 달성하여 효과성을 입증한다.
• 자기학습을 통한 라벨 없이 사용 가능한 데이터 활용은 동일한 성능를 달성하기 위해 필요한 라벨 데이터를 50% 이상 감소시켜 뛰어난 데이터 효율성을 보여준다.
• 준지도 전이 학습 모델은 RCH 데이터셋에서 F1 스코어 0.9744, GCH 데이터셋에서 0.9643을 기록하며 라벨 데이터의 70%만으로도 완전히 지도 학습된 CNN(각각 F1 = 0.9367, 0.9335)보다 뚜렷이 뛰어난 성능을 보였다.
• 소스 병원의 라벨 데이터로부터의 전이 학습은 성능 향상에 기여하며, 자기학습 전이 학습 모델은 완전히 지도 학습 및 자기학습 기반 모델보다 통계적으로 유의미한 성능 향상을 보였다(p < 0.05).
• 대상 병원에서 라벨 데이터가 전혀 없을 경우(0% 라벨 데이터)에도 전이 학습 모델은 RCH에서 F1 스코어 0.9678, GCH에서 0.9548을 달성하여 외부 소스에서의 지식 전이의 가치를 입증했다.
• 오분류의 주요 원인은 언어적 모호성, 예를 들어 조건문 또는 부정문(예: "no bony abnormality"에 가능성이 있는 이상 징후의 암시적 언급) 등으로, 임상 NLP의 도전 과제를 드러낸다.