[논문 리뷰] The Effect of Heterogeneous Data for Alzheimer's Disease Detection from Speech

Aparna Balagopalan, Jekaterina Novikova외 2명|arXiv (Cornell University)|2018. 11. 29.

Topic Modeling참고 문헌 15인용 수 10

한 줄 요약

이 논문은 그림 설명, 언어 유창성, 대화성 발화와 같은 다양한 인지 작업에서 유래한 이질적인 발화 데이터가 알츠하이머병(AD) 진단에 미치는 영향을 조사한다. 단일 작업 AD 데이터셋에 다양한 작업으로부터의 정상 데이터를 보완함으로써, 저자들은 F1 스코어에서 9% 향상을 입증하였으며, 다중 작업 데이터로 훈련된 모델은 인지 영역 전반에 걸친 향상된 인덕티브 바이어스로 인해 보다 우수한 일반화 능력과 낮은 작업 외 오차를 보였다.

ABSTRACT

Speech datasets for identifying Alzheimer's disease (AD) are generally restricted to participants performing a single task, e.g. describing an image shown to them. As a result, models trained on linguistic features derived from such datasets may not be generalizable across tasks. Building on prior work demonstrating that same-task data of healthy participants helps improve AD detection on a single-task dataset of pathological speech, we augment an AD-specific dataset consisting of subjects describing a picture with multi-task healthy data. We demonstrate that normative data from multiple speech-based tasks helps improve AD detection by up to 9%. Visualization of decision boundaries reveals that models trained on a combination of structured picture descriptions and unstructured conversational speech have the least out-of-task error and show the most potential to generalize to multiple tasks. We analyze the impact of age of the added samples and if they affect fairness in classification. We also provide explanations for a possible inductive bias effect across tasks using model-agnostic feature anchors. This work highlights the need for heterogeneous datasets for encoding changes in multiple facets of cognition and for developing a task-independent AD detection model.

연구 동기 및 목표

• 그림 설명 작업과 같은 단일 작업 발화 데이터로 훈련된 알츠하이머병(AD) 진단 모델의 일반화 능력이 제한되어 있는 문제를 해결하기 위해.
• 다양한 작업에서 유래한 정상(건강한) 발화 데이터를 통합함으로써 AD 진단 성능 및 모델의 강건성 향상 여부를 조사하기 위해.
• 추가된 건강한 샘플의 연령 분포가 모델의 공정성 및 성능에 미치는 영향을 평가하기 위해.
• 다중 작업 데이터가 다양한 발화 기반 인지 작업 간의 일반화 능력을 향상시키는 데 기여하는 영역별 인덕티브 바이어스를 어떻게 도입하는지 분석하기 위해.
• 모델에 종속되지 않는 설명 기법인 특성 앵커를 사용하여, 다양한 작업 간의 인덕티브 바이어스 영향을 이해하기 위해.

제안 방법

• 저자들은 AD 전용 데이터셋(Dementia Bank)과 다양한 작업을 수행한 건강한 참가자들로부터의 정상 데이터를 조합하는 다중 작업 학습 프레임워크를 사용한다: 그림 설명(HAPD), 언어 유창성 및 단락 독서(HAFP), 대화성 발화(FP).
• 문장 구조의 복잡성, 휴지 시간, 감정 규범, 통일성 측정치 등을 포함한 문맥적 및 음성적 특성(297개의 언어적 특성, 183개의 음성적 특성)을 텍스트 및 음성에서 추출하며, 이는 모두 작업에 종속되지 않도록 설계되었다.
• 통합된 데이터셋으로 블랙박스 분류기를 훈련하고, 모델에 종속되지 않는 특성 앵커를 사용하여 데이터 분포 전반에서 예측을 설명하는 안정적이고 고정밀도의 특성 조건을 식별한다.
• 앵커의 커버리지—특성 규칙이 데이터 분포 전반에서 성립할 확률—는 특성이 얼마나 잘 일반화되는지를 측정하는 데 사용되며, 높은 커버리지가 높은 인덕티브 바이어스를 의미한다.
• 성능 평가에는 F1 마이크로 및 매크로 스코어, 작업 외 오차, 연령대 간 균형 잡힌 F1 스코어를 사용하여 공정성과 일반화 능력을 평가한다.
• 추가된 건강한 샘플의 연령 분포 영향을 분석하기 위해, 이를 15년 단위의 밴드로 나누고 성능 변화를 측정한다.

실험 결과

연구 질문

• RQ1 다양한 작업에서 유래한 정상 데이터를 단일 작업 AD 발화 데이터셋에 보완함으로써 진단 성능 향상이 이루어지는가?
• RQ2 추가된 건강한 샘플의 연령 분포가 모델의 공정성 및 성능에 어떤 영향을 미치는가?
• RQ3 다른 발화 작업들이 얼마나 다양한 영역별 인덕티브 바이어스를 제공하여 미지의 작업으로의 일반화 능력을 향상시키는가?
• RQ4 모델에 종속되지 않는 특성 앵커를 통해 다중 작업 데이터가 의사결정 경계의 안정성 및 특성의 관련성 향상 여부를 어떻게 드러내는가?
• RQ5 다양한 작업의 데이터를 조합함으로써 단일 작업 기반 모델 대비 작업 외 오차가 감소하는가?

주요 결과

• 그림 설명, 유창성, 대화성 발화와 같은 다양한 작업에서 유래한 정상 데이터를 AD 전용 데이터셋에 추가함으로써 F1 스코어가 최대 9% 향상되었으며, 특히 구조화된 작업과 비구조화된 작업의 데이터를 조합했을 때 가장 높은 향상이 관찰되었다.
• 그림 설명과 대화성 발화 데이터의 조합으로 훈련된 모델가 가장 낮은 작업 외 오차를 보였으며, 이는 다양한 발화 작업 간의 일반화 능력이 뛰어나다는 것을 시사한다.
• 성능 향상은 주로 건강한 클래스와 소수의 AD 클래스 양쪽 모두에서 일관되게 나타났으며, 다중 작업 정상 데이터를 추가함으로써 F1 마이크로 스코어는 2%, 매크로 스코어는 5% 향상되었다.
• 60세 이상 연령대에서 유래한 건강한 샘플을 추가할 경우, 젊은 연령대보다 더 큰 성능 향상이 이루어졌으며, 이는 원래 AD 데이터셋의 연령 분포가 고령자 중심으로 기울어져 있기 때문일 것이다.
• 연령 관련 성능 추세가 있었음에도 불구하고, 모델은 공정했으며, 60세 미만 참가자에 대한 균형 잡힌 F1 스코어는 75.6%, 60세 이상 참가자에선 76.1%였다.
• 다중 작업 정상 데이터(HA)를 추가함으로써 특성 앵커 커버리지가 40.8% 향상되었으며, 이는 모델이 데이터 분포 전반에서 더 안정적이고 일반화 가능한 특성 조건을 학습했다는 것을 의미한다.