[논문 리뷰] Generating Continuous Representations of Medical Texts

Graham Spinks, Marie‐Francine Moens|Lirias (KU Leuven)|2018. 05. 15.

Topic Modeling참고 문헌 6인용 수 3

한 줄 요약

이 논문은 연속적 표현에서 현실적인 의료 텍스트 캡션을 생성하기 위해 조건부 적으로 정규화된 오토인코더(ARAE)를 제안한다. 이는 전통적인 LSTMs보다 향상된 성능을 보이며, 고도로 분리된 정보성 연속 임베딩을 학습하면서도 고품질이고 문법적으로 정확한 보고서를 생성한다. 결과적으로 125.4의 퍼플렉서티를 달성하였으며, 이는 LSTM 기준선(150.0)과 비조건부 ARAE(148.4)보다 유의미하게 낮다.

ABSTRACT

We present an architecture that generates medical texts while learning an informative, continuous representation with discriminative features. During training the input to the system is a dataset of captions for medical X-Rays. The acquired continuous representations are of particular interest for use in many machine learning techniques where the discrete and high-dimensional nature of textual input is an obstacle. We use an Adversarially Regularized Autoencoder to create realistic text in both an unconditional and conditional setting. We show that this technique is applicable to medical texts which often contain syntactic and domain-specific shorthands. A quantitative evaluation shows that we achieve a lower model perplexity than a traditional LSTM generator.

연구 동기 및 목표

• 의료 텍스트로부터 연속적이고 분리된 표현을 학습하면서도 현실적인 보고서를 생성할 수 있는 딥 생성 모델을 개발하는 것.
• 의료 보고서의 도메인 특화 용어와 문법적 비정상성으로 인해 디지털 텍스트 데이터에 GAN을 훈련시키는 데 도전하는 문제를 해결하기 위해, ARAE 프레임워크를 의료 보고서에 적응시킨다.
• MeSH 레이블을 사용한 적대적 훈련과 조건부 감독을 통합하여 표준 LSTMs보다 텍스트 생성 품질을 향상시키는 것.
• ARAE에서 학습된 연속적 표현이 다양한 의학적으로 타당한 캡션을 생성하면서도 의미적 일관성을 유지하는 데 사용될 수 있음을 입증하는 것.
• 퍼플렉서티를 정량적으로 평가하고 사용자 친화적인 데모 인터페이스를 통해 정성적으로 평가하는 것.

제안 방법

• 모델은 인코더-디코더 아키텍처를 사용하며, 공유된 잠복 공간을 갖는다. 여기서 인코더는 입력 캡션을 연속 벡터 표현으로 매핑한다.
• 생성망은 랜덤 노이즈 벡터에서 캡션을 생성하며, 조건부 변종의 경우 클래스 레이블(예: '정상', '심장비대')을 기반으로도 생성한다.
• 판별망은 데이터셋에서 가져온 실제 캡션과 생성된 캡션을 구분하도록 훈련되며, 실제 및 가짜 샘플 모두가 레이블 조건에 따라 조건화된다.
• 훈련 과정은 안정성을 확보하기 위해 지구이동 거리(earth-mover distance)를 사용한 적대적 손실와 오토인코딩 복원 손실을 결합하여 잠복 공간을 정규화한다.
• 조건부 ARAE는 생성망과 판별망 양쪽에 클래스 레이블를 통합하여 제어 가능한 텍스트 생성을 가능하게 한다.
• 모델은 인디アナ 대학교에서 제공하는 흉부 X-ray 캡션 데이터셋을 기반으로 훈련되며, 어휘 필터링과 레이블 이진화를 통해 세 가지 진단 카테고리로 변환된다.

실험 결과

연구 질문

• RQ1 적대적으로 정규화된 오토인코더는 언어적 품질이 높고 의학적으로 타당한 임상 텍스트의 연속적 표현을 생성할 수 있는가?
• RQ2 진단 레이블에 조건부로 텍스트 생성을 수행할 경우, 비조건부 생성 대비 생성된 캡션의 일관성과 관련성은 향상되는가?
• RQ3 ARAE 프레임워크는 의료 캡션링 작업에서 표준 LSTM 언어 모델 대비 퍼플렉서티 측면에서 승리할 수 있는가?
• RQ4 임상 보고서의 진단 카테고리 간의 클래스 불균형과 겹치는 의미적 내용에 대해 모델은 얼마나 강건한가?
• RQ5 학습된 연속적 표현은 부드럽고 미분 가능한 입력이 필요한 후속 NLP 작업을 얼마나 잘 지원할 수 있는가?

주요 결과

• 조건부 ARAE는 퍼플렉서티 125.4를 달성하였으며, 이는 LSTM 기준선(150.0)과 비조건부 ARAE(148.4)보다 유의미하게 높은 성능이다.
• 생성된 캡션은 문법적 정확성과 의학 용어 일관성을 보이며, 정성적 예시를 통해 각 진단 카테고리에 대해 타당한 임상 기술이 제시된다.
• 희귀 질환인 심장비대와 같은 경우에도 모델은 레이블 조건에 따라 다양하고 현실적인 보고서를 성공적으로 생성한다. 다만 데이터 부족으로 인해 성능이 약간 저하된다.
• 지구이동 거리 손실를 사용한 적대적 훈련 설정은 훈련을 안정화시키며, 텍스트의 이산적 성격에도 불구하고 효과적인 분포 학습을 가능하게 한다.
• 데모 인터페이스를 통해 모델이 다양한 레이블 조건에 따라 출력을 생성할 수 있고, 판별망 게임을 통해 실제 캡션과 가짜 캡션을 구분할 수 있음을 확인하였다.
• 다양한 손실 함수와 높은 모델 복잡도로 인한 훈련 불안정성에도 불구하고, 모델는 충분히 수렴하여 임상적으로 타당한 텍스트를 생성할 수 있었다.