[논문 리뷰] Medical symptom recognition from patient text: An active learning approach for long-tailed multilabel distributions

Ali Mottaghi, Prathusha K Sarma외 3명|arXiv (Cornell University)|2020. 11. 12.

Topic Modeling참고 문헌 28인용 수 6

한 줄 요약

이 논문은 환자 텍스트에서 의료 증상 인식을 위한 액티브 러닝 방법을 제안하며, 장수 분포 및 다중 레이블 분포를 다루기 위해 잠재 공간 클러스터링 기반 접근법을 활용한다. 클러스터 중심 근처의 점들과 이미 레이블이 매겨진 데이터에서 멀리 떨어진 점들을 균형 있게 선택하여, 제한된 레이블 데이터와 비대칭 레이블 빈도에도 불구하고 다중 레이블 분류 성능을 뛰어나게 향상시킨다.

ABSTRACT

We study the problem of medical symptoms recognition from patient text, for the purposes of gathering pertinent information from the patient (known as history-taking). A typical patient text is often descriptive of the symptoms the patient is experiencing and a single instance of such a text can be "labeled" with multiple symptoms. This makes learning a medical symptoms recognizer challenging on account of i) the lack of availability of voluminous annotated data as well as ii) the large unknown universe of multiple symptoms that a single text can map to. Furthermore, patient text is often characterized by a long tail in the data (i.e., some labels/symptoms occur more frequently than others for e.g "fever" vs "hematochezia"). In this paper, we introduce an active learning method that leverages underlying structure of a continually refined, learned latent space to select the most informative examples to label. This enables the selection of the most informative examples that progressively increases the coverage on the universe of symptoms via the learned model, despite the long tail in data distribution.

연구 동기 및 목표

• 환자 보고 텍스트에서 자주 함께 나타나는 다수의 증상을 인식하는 도전 과제를 해결하기 위해, 종종 장수 분포를 보이는 레이블 분포를 다루는 것.
• 대규모 레이블 데이터셋에 대한 의존도를 줄이기 위해, 최소한의 인간 노력으로 효율적인 액티브 레이블링을 가능하게 하는 것.
• 잠재 공간에서 다양하고 정보가 풍부한 예시를 전략적으로 선택하여 희귀 및 새로운 증상에 대한 모델 커버리지 향상.
• 기존 의료 분야의 액티브 러닝 기법의 한계를 극복하기 위해, 새로운 잠재 클러스터 탐색(탐색)과 기존 클러스터 활용(이점)의 균형을 이루는 방법 개발.
• 시간이 지남에 따라 증상 인식 능력을 효율적으로 확장함으로써, 원격의료 환경에서의 확장 가능한 실시간 자동 병력 수집 시스템 구현 지원.

제안 방법

• 모델은 환자 텍스트를 잠재 공간에 임bedding하여 의학적으로 의미 있는 의미적 구조를 포착한다.
• 비밀번호 기반 클러스터링(affinity propagation)을 사용해 잠재 공간 내의 미레이블링된 예시를 클러스터링하여 증상 패턴에 해당하는 조밀한 영역를 식별한다.
• 하이브리드 선택 기준은 두 가지 목표를 균형 있게 조절한다: 클러스터 중심에 가까운 점들을 선택하는 것(이점)과 이미 레이블이 매겨진 점들에서 멀리 떨어진 점들을 선택하는 것(탐색).
• 선택 기준은 레이블이 매겨진 점들까지의 거리와 클러스터 중심까지의 거리의 가중 조합으로 정의되며, 이는 가속 가능한 하이퍼파rameter λ로 조정 가능한 트레이드오프를 제어한다.
• 모델은 이 기준에 따라 가장 정보가 많은 예시를 반복적으로 선택하고, 각 레이블링 라운드 후에 재학습하여 잠재 공간과 클러스터 구조를 정교화한다.
• 이 방법은 새로운 데이터와 클러스터 발견에 동적으로 적응함으로써, 희귀 증상까지 포함한 잠재 증상의 전체 유니버스를 점진적으로 커버할 수 있도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 환자 텍스트에서의 다중 레이블, 장수 분포에 대해 액티브 러닝을 효과적으로 어떻게 적응시킬 수 있는가?
• RQ2 잠재 공간 클러스터링이 자원이 제한되고 변동성이 큰 임상 텍스트 환경에서 선택된 훈련 예시의 다양성과 커버리지 향상에 기여할 수 있는가?
• RQ3 잠재 공간의 새로운 미탐색 영역 탐색과 기존에 조밀한 클러스터 활용 사이의 최적의 균형은 무엇인가?
• RQ4 제안된 방법이 기존의 액티브 러닝 기준 대비 다중 레이블 F1 점수와 희귀 증상의 리콜 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 진행 중인 증상 어휘와 비표준 환자 언어를 포함한 실제 원격의료 데이터에 대해 이 방법이 얼마나 일반화되는가?

주요 결과

• 제안된 액티브 러닝 방법은 다중 레이블 분류 성능에서 최신 기술 대비 뛰어난 성능을 보이며, 특히 희귀 증상의 F1 점수와 리콜 측면에서 뛰어난 성능을 발휘한다.
• 제거 분석 결과 최적의 하이퍼파rameter λ ≈ 0.1이 새로운 클러스터 탐색과 기존 클러스터 활용 사이의 최적 균형을 이루며, 순수 탐색 또는 순수 이점 전략보다 뛰어난 성능을 보였다.
• t-SNE 시각화를 통한 정성적 분석 결과, 방법이 잠재 공간 전반에 걸쳐 다양하고 잘 분포된 예시를 선택하는 것으로 확인되었으며, 조밀한 클러스터와 이전에 탐색되지 않은 영역를 모두 커버하였다.
• 이 방법은 시간이 지남에 따라 모델 커버리지를 높이며, 이전에 보이지 않았던 증상을 발견하고 레이블링하는 데 성공했으며, 변화하는 환자 용어를 반영하는 실제 원격의료 응용 분야에서 매우 중요하다.
• 제한된 레이블 데이터에서도 강력한 성능 유지를 보이며, 자원 부족과 장수 레이블 분포에 대한 강건성을 입증하였다.
• 모델은 전체 증상 공간에서 정보 수확량을 극대화하는 예시를 우선순위로 정함으로써 효율적인 데이터 레이블링을 가능하게 하여, 레이블링 비용을 줄이고 모델 일반화 능력을 향상시켰다.