[논문 리뷰] Phenotyping of Clinical Notes with Improved Document Classification Models Using Contextualized Neural Language Models

Andriy Mulyar, Elliot Schumacher외 2명|arXiv (Cornell University)|2019. 10. 30.

Topic Modeling참고 문헌 18인용 수 21

한 줄 요약

이 논문은 문맥적 BERT 표현을 분할된 노트 조각들에 걸쳐 평균 풀링하는 방식으로 문서 수준의 임베딩을 생성하는 BERT 기반의 문서 분류 프레임워크를 제안한다. 이는 I2B2 2006년 흡연 상태 형질 유형 분류 과제에서 기존 규칙 기반 시스템보다 마이크로-F1에서 2.8% 높은 최고 성능을 기록하며, 문맥적 언어 모델을 사용할 경우 복잡한 아키텍처가 아닌 단순한 풀링 전략으로도 충분함을 보여준다.

ABSTRACT

Clinical notes contain an extensive record of a patient's health status, such as smoking status or the presence of heart conditions. However, this detail is not replicated within the structured data of electronic health systems. Phenotyping, the extraction of patient conditions from free clinical text, is a critical task which supports avariety of downstream applications such as decision support and secondary use of medical records. Previous work has resulted in systems which are high performing but require hand engineering, often of rules. Recent work in pretrained contextualized language models have enabled advances in representing text for a variety of tasks. We therefore explore several architectures for modeling pheno-typing that rely solely on BERT representations of the clinical note, removing the need for manual engineering. We find these architectures are competitive with or outperform existing state of the art methods on two phenotyping tasks.

연구 동기 및 목표

• 문맥적 신경 언어 모델을 사용하여 일반화 가능하고 엔드 투 엔드의 문서 분류 프레임워크를 개발하는 것.
• 예를 들어 부정성 탐지나 시간적 어휘 인식과 같은 수작업 특징 공학에 의존하지 않고, 사전 훈련된 BERT 표현을 활용함으로써 이를 제거하는 것.
• 긴 문서 형질 유형 분류 과제에서 복잡한 아키텍처보다 단순한 집계 방법(예: 평균 풀링)이 더 높은 성능을 낼 수 있는지 평가하는 것.
• 흡연 상태와 비만 관련 합병증과 같은 두 가지 기존 형질 유형 기준 평가 벤치마크에서 BERT 기반 모델의 성능을 평가하는 것.
• 재현 가능성과 임상 NLP 분야에서의 광범위한 채택을 위해 공개된 PyTorch 구현을 제공하는 것.

제안 방법

• 임상 노트는 WordPiece 토크나이저를 사용해 겹치지 않는 길이 512의 세그먼트로 분할되며, 이는 BERT의 최대 입력 길이이다.
• 각 세그먼트는 임상적으로 미세조정된 BERT 모델을 사용해 인코딩되며, 각 하위어 토큰에 대한 문맥적 히든 상태를 생성한다.
• 문서 수준의 표현은 네 가지 집계 전략을 사용해 구성된다: 평균 풀링, 최대 풀링, LSTM 기반 인코딩, 다중 헤드 자기주의(Transformer 기반 풀링).
• 풀링된 표현은 이진 또는 다중 레이블 형질 특성 분류를 위한 피드포워드 분류기와 시그모이드 활성화 함수를 거친다.
• 모델은 1000 에포크 동안 I2B2 2006년(흡연) 및 I2B2 2008년(비만) 공동 과제 데이터셋에서 엔드 투 엔드로 훈련되며, 개발 세트가 없어 하이퍼파라미터 튜닝을 하지 않는다.
• 이 접근법은 규칙 기반 전처리를 피하고, 대신 문맥 임베딩에만 의존함으로써, 작업별 특화된 공학 없이도 다양한 형질 특성에 적응 가능하다.

실험 결과

연구 질문

• RQ1 수작업 특징이나 규칙 기반 구성 요소 없이도 BERT 기반 문서 분류 모델이 임상 형질 유형 분류 과제에서 최고 성능을 낼 수 있는가?
• RQ2 문서 세그먼트에 걸쳐 BERT 표현을 평균 풀링하는 것이 LSTM이나 다중 헤드 주의와 같은 더 복잡한 집계 아키텍처보다 더 높은 성능을 낼 수 있는가?
• RQ3 기존의 규칙 기반 및 CNN 기반 시스템과 비교해 BERT 기반 모델은 기존의 형질 유형 기준 평가 벤치마크에서 어떻게 성능을 내는가?
• RQ4 표준 BERT 응용에서 첫 510개 토큰에만 의존할 경우 모델의 성능이 얼마나 떨어지는가?
• RQ5 간단한 학습되지 않은 풀링 전략과 조합되었을 때도 BERT의 문맥 표현이 형질 신호를 충분히 포착할 수 있는가?

주요 결과

• 평균 풀링 전략($f_{\text{mean}}$)은 I2B2 2006년 흡연 상태 형질 유형 분류 과제에서 마이크로-F1 92.8을 기록하여 이전 공동 과제 우승자(90.0)보다 2.8% 높은 성능을 보였다.
• $f_{\text{mean}}$ 아키텍처는 I2B2 2008년 비만 합병증 과제에서도 F1 86.5를 기록했으며, 공동 과제 1위 시스템(95.0)은 다수 레이블 기준선에서만 뛰어났다.
• Transformer 기반 풀링 방법($f_{\text{Transformer}}$)은 모든 베이스라인보다 열등했으며, 흡연 과제에서 F1 58.4, 비만 과제에서 F1 70.4를 기록하여 모델 용량 증가가 저데이터 설정에서는 유의미한 이점을 주지 못함을 시사했다.
• LSTM 기반 풀링 방법($f_{I}$)은 흡연 과제에서 F1 92.3, 비만 과제에서 F1 83.1을 기록했으며, 경쟁력 있는 성능를 보였지만 평균 풀링을 능가하지 못했다.
• 기본 모델인 DocBert는 첫 510개 토큰만 사용하므로, 흡연 과제에서 F1 80.2, 비만 과제에서 F1 67.6에 그쳤으며, 이는 긴 임상 노트에서 중요한 정보를 포착하지 못함을 확인했다.
• 이 연구는 임상 문서 분류 과제에서 BERT 표현의 단순한 평균 풀링이 높은 성능를 달성하는 데 충분함을 보여주며, 복잡한 작업별 특화 아키텍처가 필요하지 않음을 시사한다.