[논문 리뷰] Keyword-optimized Template Insertion for Clinical Information Extraction via Prompt-based Learning

Eugenia Alleva, Isotta Landi외 4명|arXiv (Cornell University)|2023. 10. 31.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 임상적으로 관련성이 높은 키워드 주변에 프롬프트 템플릿을 전략적으로 배치함으로써 제로샷 및 희소샷 임상 노트 분류 성능을 향상시키는 키워드 최적화 템플릿 삽입(KOTI)을 제안한다. KOTI는 표준 템플릿 삽입 방법보다 성능을 향상시키며, 특히 제한된 또는 불균형적인 훈련 데이터에서 유의미한 성능 향상을 보이며, 키워드 위치 기반 단일 추론 절단을 통해 계산 효율성을 유지한다.

ABSTRACT

Clinical note classification is a common clinical NLP task. However, annotated data-sets are scarse. Prompt-based learning has recently emerged as an effective method to adapt pre-trained models for text classification using only few training examples. A critical component of prompt design is the definition of the template (i.e. prompt text). The effect of template position, however, has been insufficiently investigated. This seems particularly important in the clinical setting, where task-relevant information is usually sparse in clinical notes. In this study we develop a keyword-optimized template insertion method (KOTI) and show how optimizing position can improve performance on several clinical tasks in a zero-shot and few-shot training setting.

연구 동기 및 목표

• 제한된 애너테이션 임상 데이터로 인한 노트 분류 과제 해결을 위해 프롬프트 기반 학습을 활용하고자 한다.
• 프롬프트 기반 학습에서 템플릿 위치가 임상 NLP, 특히 제로샷 및 희소샷 설정에서 미치는 영향을 조사하고자 한다.
• 입력 절단 과정에서 임상적으로 관련성이 높은 정보를 유지하면서도 계산 비용이 적은 방법을 개발하고자 한다.
• 균형 잡힌 희소샷 학습을 통해 희귀하거나 불균형한 클래스에 대한 모델 일반화 능력을 향상시키고자 한다.
• 키워드 인식 기반 템플릿 삽입이 난이도 있는 절단 및 고정 위치 프롬프팅보다 우수한 성능을 보일 수 있는지 평가하고자 한다.

제안 방법

• KOTI는 임상 노트 내 임상적으로 관련성이 높은 키워드를 식별하고, 정보 보존을 극대화하기 위해 이 키워드 주변에 프롬프트 템플릿을 삽입한다.
• 이 방법은 키워드를 포함한 텍스트 청크를 우선순위로 정하는 키워드 기반 절단 전략을 사용하여 핵심 임상 정보가 유지되도록 보장한다.
• 프롬프트 템플릿은 작업별 목적과 [MASK] 토큰을 사용해 수동으로 설계되며, 버벌라이저는 모델 출력을 클래스 레이블로 매핑한다.
• 템플릿 삽입은 임상 BERT 및 BioBERT 모델을 사용하여 제로샷 및 희소샷 설정에서 평가된다.
• 표준 템플릿 삽입(STI-k, STI-s) 및 희소샷 학습에서 균형 잡힌 샘플링 대비 랜덤 샘플링과의 성능을 비교한다.
• HealthPrompt와 같은 청크 기반 방법과 달리, KOTI는 단일 키워드 최적화 입력 청크를 사용함으로써 다중 추론 런을 피한다.

실험 결과

연구 질문

• RQ1 임상적으로 관련성이 높은 키워드 주변에서 프롬프트 템플릿의 위치를 최적화하면 제로샷 및 희소샷 임상 노트 분류 성능 향상에 기여하는가?
• RQ2 입력 길이 제약 조건 하에서 키워드 기반 절단이 표준 꼬리 절단 대비 모델 성능 유지에 얼마나 효과적인가?
• RQ3 훈련 데이터가 제한되거나 클래스가 불균형한 상황에서 KOTI가 성능 향상에 기여하는가?
• RQ4 KOTI의 성능 향상 효과가 다양한 임상 분류 과제 간에 일관되게 나타나는가?
• RQ5 템플릿 위치가 임상 NLP에서 과제에 따라 영향을 미치는가? 그리고 KOTI는 이를 활용할 수 있는가?

주요 결과

• KOTI는 제로샷 및 희소샷 설정에서 STI-k 및 STI-s보다 F1 및 매크로-F1 점수를 유의미하게 향상시키며, 특히 데이터가 적은 환경에서 가장 큰 향상을 보인다.
• 평균적으로 KOTI는 제로샷 학습에서 STI-k보다 F1 점수를 0.076 포인트 향상시키며, 불균형한 훈련 데이터에서 희소샷 시나리오에서 일관된 성능 향상을 보인다.
• 키워드 기반 절단은 표준 꼬리 절단보다 더 많은 관련 정보를 유지하여 성능 향상을 이끌어내며, 특히 난이도 있는 절단에서 정체 현상이 발생하는 ClinicalBERT의 경우 두드러진 효과가 있다.
• 균형 잡힌 예제로 학습하는 것은 랜덤 샘플링 대비 성능 향상을 이끌며, KOTI는 이 효과를 강화하여 더 적은 예제로도 더 빠른 수렴과 향상된 성능을 달성한다.
• KOTI의 성능 향상 효과는 과제에 따라 달라지며, 사전에 더 정확하게 키워드를 선정한 생리통 과제에서 가장 큰 향상이 관찰되었다.
• KOTI는 단일 추론만 필요로 하므로 계산 효율성을 유지하며, HealthPrompt와 같은 청크 기반 방법과 달리 장기적인 임상 노트에 대해 더 스케일러블하다.