[논문 리뷰] Suicide Phenotyping from Clinical Notes in Safety-Net Psychiatric Hospital Using Multi-Label Classification with Pre-Trained Language Models

Zehan Li, Yan Hu외 8명|PubMed|2024. 09. 27.

Suicide and Self-Harm StudiesPsychology참고 문헌 18인용 수 3

한 줄 요약

이 연구는 안전망 정신과 병원의 임상 노트를 대상으로 BERT 기반 모델을 사용하여 다중 레이블 자살 행동 유형 분류 시스템을 개발한다. 단일 다중 레이블 분류를 통해 미세조정한 RoBERTa 모델이 가장 높은 성능을 보였으며, 정확도: 0.88, F1: 0.81를 기록하였다. 이는 도메인 특화 사전 훈련과 다중 레이블 전략이 자살 생각, 자살 시도, 자살 노출, 비자살 자해와 같은 동시 발생하는 자살 관련 사건을 탐지하는 데 있어 크게 기여함을 시사한다.

ABSTRACT

Accurate identification and categorization of suicidal events can yield better suicide precautions, reducing operational burden, and improving care quality in high-acuity psychiatric settings. Pre-trained language models offer promise for identifying suicidality from unstructured clinical narratives. We evaluated the performance of four BERT-based models using two fine-tuning strategies (multiple single-label and single multi-label) for detecting coexisting suicidal events from 500 annotated psychiatric evaluation notes. The notes were labeled for suicidal ideation (SI), suicide attempts (SA), exposure to suicide (ES), and non-suicidal self-injury (NSSI). RoBERTa outperformed other models using binary relevance (acc=0.86, F1=0.78). MentalBERT (F1=0.74) also exceeded BioClinicalBERT (F1=0.72). RoBERTa fine-tuned with a single multi-label classifier further improved performance (acc=0.88, F1=0.81), highlighting that models pre-trained on domain-relevant data and the single multi-label classification strategy enhance efficiency and performance.

연구 동기 및 목표

• 비정형 임상 노트에서 자살 위험 탐지 성능을 향상시켜 고위험 정신건강 환경에서의 자살 위험 평가를 개선한다.
• 공동으로 발생하는 자살 행동 유형(자살 생각(SI), 자살 시도(SA), 자살 노출(ES), 비자살 자해(NSSI))을 식별하는 데에 사전 훈련된 언어 모델의 효과성을 평가한다.
• 임상 내역을 사용한 자살 행동 유형 분류에서 다중 단일 레이블 대비 단일 다중 레이블 미세조정 전략을 비교한다.
• 모델 아키텍처와 도메인 특화 사전 훈련이 행동 유형 분류 성능에 미치는 영향을 평가한다.
• 자동화된 정확한 자살 위험 행동 유형 분류를 통해 임상 의사결정 지원 및 운영 부담 감소를 도모한다.

제안 방법

• 500개의 주석이 달린 정신과 평가 노트를 대상으로 BERT, BioClinicalBERT, MentalBERT, RoBERTa의 네 가지 BERT 기반 모델을 미세조정한다.
• 두 가지 미세조정 전략을 적용: 다중 단일 레이블 분류(각 자살 행동 유형별로 별도의 모델)와 단일 다중 레이블 분류(한 모델이 동시에 네 가지 레이블을 예측함).
• 정신건강 환경에 적합한 도메인 관련 임상 노트를 사용하여 모델의 일반화 능력을 향상시킨다.
• 모든 네 가지 자살 행동 유형에 대해 표준 NLP 평가 지표인 정확도와 F1 점수를 사용하여 평가한다.
• Transformer 기반 아키텍처에서 하이퍼파라미터 튜닝과 주의 메커니즘 활용을 통해 모델 성능을 최적화한다.
• 저자원, 고위험 도메인인 자살 행동 유형 분류에 적합하도록 사전 훈련된 언어 모델을 전이 학습을 통해 적응시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델은 정신과 입원 환경에서 비정형 임상 노트에서 다수의 동시 발생 자살 행동 유형을 효과적으로 탐지할 수 있는가?
• RQ2 모델 아키텍처 선택(예: RoBERTa 대비 BERT)이 자살 행동 유형 분류 작업 성능에 어떤 영향을 미치는가?
• RQ3 다양한 자살 행동 유형 탐지에서 단일 다중 레이블 분류가 다중 단일 레이블 분류보다 우수한가?
• RQ4 일반 도메인 모델 대비 도메인 특화 사전 훈련이 자살 행동 유형 분류 성능 향상에 얼마나 기여하는가?
• RQ5 다양한 미세조정 전략이 자살 사건 탐지의 정확도와 F1 점수에 어떤 영향을 미치는가?

주요 결과

• RoBERTa 모델은 단일 다중 레이블 분류 전략을 사용할 때 가장 높은 성능을 보였으며, 정확도 0.88, F1 점수 0.81를 기록하였다.
• 다중 단일 레이블 설정에서도 RoBERTa가 다른 모델보다 뛰어난 성능을 보였으며, 정확도 0.86, F1 점수 0.78를 기록하였다.
• MentalBERT는 강력한 성능(정확도 0.83, F1 점수 0.74)을 보였으며, BioClinicalBERT(정확도 0.82, F1 점수 0.72)를 능가하였다.
• BioClinicalBERT는 기본 BERT 모델(정확도 0.80, F1 점수 0.70)을 능가하여 도메인 특화 사전 훈련의 이점이 있음을 시사한다.
• 단일 다중 레이블 미세조정 전략이 다중 단일 레이블 전략보다 성능을 향상시켜, 레이블 간 상관관계 학습이 더 효과적임을 시사한다.
• 모델 최적화, 도메인 관련 사전 훈련, 다중 레이블 미세조정가 결합되어 자살 행동 유형 분류 성능을 향상시켰다.