[논문 리뷰] Alzheimer's Disease Detection from Spontaneous Speech through Combining Linguistic Complexity and (Dis)Fluency Features with Pretrained Language Models

Yu Qiao, Xuefeng Yin외 2명|arXiv (Cornell University)|2021. 06. 16.

Topic Modeling참고 문헌 33인용 수 8

한 줄 요약

이 논문은 언어적 복잡성과 (비)유창성 특징을 BERT 및 ERNIE 사전학습된 언어 모델과 융합한 하이브리드 접근법을 제안한다. 이러한 구성 요소들을 스태킹 앙상블 방식으로 활용함으로써, ADReSSo 2021 테스트 세트에서 기준 모델 대비 4.23% 높은 83.1%의 정확도를 달성하였다. 이는 해석 가능한 언어적 특징과 깊이 있는 문맥 표현을 보완적으로 모델링함으로써 더 뛰어난 정확도와 강건성을 확보함을 보여준다.

ABSTRACT

In this paper, we combined linguistic complexity and (dis)fluency features with pretrained language models for the task of Alzheimer's disease detection of the 2021 ADReSSo (Alzheimer's Dementia Recognition through Spontaneous Speech) challenge. An accuracy of 83.1% was achieved on the test set, which amounts to an improvement of 4.23% over the baseline model. Our best-performing model that integrated component models using a stacking ensemble technique performed equally well on cross-validation and test data, indicating that it is robust against overfitting.

연구 동기 및 목표

• 자연스러운 말하기에서의 자동 알츠하이머병 진단 성능을 향상시키기 위해 언어적 복잡성과 (비)유창성 특징을 사전학습된 언어 모델과 융합하는 것.
• 낮은 데이터 환경에서의 과적합 문제를 해결하기 위해, 특히 스태킹을 통한 앙상블 기법을 활용해 다양한 특징 그룹을 통합하는 것.
• 해석 가능한 언어적 특징(복잡성, 유창성)이 BERT 및 ERNIE의 깊이 있는 문맥 표현과 함께 알츠하이머병 분류에 보완적으로 기여하는지 평가하는 것.
• 언어적 특징과 음성 특징을 융합한 ADReSSo 2021 챌린지 기준 모델과의 성능 비교를 수행하는 것.
• 백박스 트랜스포머 모델의 성능을 근사하는 흑자 모델이 아닌 투명한 언어적 특징을 활용해 의료 AI의 모델 해석 가능성 향상을 도모하는 것.

제안 방법

• 본 방법은 세 가지 유형의 특징을 통합한다: 언어적 복잡성(예: 어휘 다양성, 문법적 복잡성), (비)유창성 지표(예: 정지 시간, 빈도), 그리고 BERT 및 ERNIE로부터 유도된 문맥 임베딩.
• 음성 인식(ASR)은 AppTek의 클라우드 API를 사용하여 음성을 텍스트로 변환하였으며, 강제 정렬 기법을 통해 정지 시간과 신뢰도 점수를 추출하였다.
• 언어적 복잡성 및 (비)유창성 특징은 문장 수준에서 추출되어 별도의 분류기(예: 로지스틱 회귀, CNN)의 입력으로 사용되었다.
• 사전학습된 언어 모델(BERT 및 ERNIE)은 표준 자연어 처리(NLP) 파인튜닝 절차를 사용해 ASR 텍스트에 대해 파인튜닝되었다.
• 세 가지 앙상블 전략을 평가하였으며, 각각 백킹(다수결 투표), 특징 융합, 스태킹이다. 스태킹은 개별 모델의 예측을 연결하여 메타-학습기(로지스틱 회귀)의 입력으로 사용하는 방식이다.
• 스태킹은 두 단계로 구현되었다: 첫 번째로 5겹 교차검증을 통해 개별 모델을 훈련하고, 두 번째로 예측값을 연결하여 검증 세트에서 메타-분류기를 훈련시켰다.

실험 결과

연구 질문

• RQ1 자연스러운 말하기에서의 알츠하이머병 진단에 있어 언어적 복잡성과 (비)유창성 특징이 사전학습된 언어 모델의 성능을 향상시킬 수 있는가?
• RQ2 특히 스태킹을 통한 앙상블 기법을 활용할 경우, 낮은 자원 환경에서의 알츠하이머병 진단 과제에서 모델의 강건성과 일반화 능력이 향상되는가?
• RQ3 해석 가능한 언어적 특징이 종합적인 딥러닝 모델과 비교해 알츠하이머병 분류 성능에서 어느 정도의 성능을 내는가?
• RQ4 다양한 앙상블 기법이 작은 알츠하이머병 데이터셋에서 훈련된 모델의 과적합을 어느 정도 완화하는가?
• RQ5 의사소통 가능한 특징과 깊이 있는 문맥 표현을 융합한 하이브리드 모델이 ADReSSo 2021 챌린지에서 최고의 성능을 달성할 수 있는가?

주요 결과

• 스태킹을 통해 로지스틱 회귀 모델(언어적 복잡성 및 (비)유창성 특징)과 BERT, ERNIE를 융합한 최고의 성능 모델이 테스트 세트에서 83.1%의 정확도를 기록하였으며, 이는 기준 모델 대비 4.23% 높은 성능이다.
• 모델 C(스태킹)는 교차검증(83.16%)과 테스트 데이터(83.10%)에서 동일한 성능을 보이며 강건성과 낮은 과적합을 입증하였다.
• 반면에 다수결 투표나 특징 융합을 사용한 모델들은 테스트 세트에서 성능이著명하게 떨어졌으며, 특히 모델 A(78.87%)와 모델 B(74.65%)에서 교차검증 대비 성능 저하가 두드러져 과적합이 발생한 것으로 판단된다.
• 언어적 복잡성 및 (비)유창성 특징의 통합은 파인튜닝된 사전학습된 모델의 성능을 약 3% 향상시켰으며, 이는 상호 보완적인 정보 인코딩을 의미한다.
• 문장 수준의 언어적 복잡성 및 (비)유창성 특징을 기반으로 훈련한 로지스틱 회귀 모델이 5겹 교차검증에서 약 80%의 정확도를 기록하였으며, 이는 파인튜닝된 BERT 및 ERNIE 모델의 성능과 유사함을 보여주며, 해석 가능한 특징의 가치를 입증한다.
• 스태킹 앙상블은 언어적 신호, 유창성 특징, 문맥 임베딩을 효과적으로 융합하여 임상적으로 유의미한 알츠하이머병 진단에 적합한 강력하고 높은 성능의 시스템을 구현하였다.