[논문 리뷰] Detecting cognitive impairments by agreeing on interpretations of linguistic features

Zining Zhu, Jekaterina Novikova외 1명|arXiv (Cornell University)|2018. 08. 20.

Topic Modeling참고 문헌 40인용 수 5

한 줄 요약

이 논문은 인공지능 모델이 음성, 문법, 의미적 특성과 같은 서로 다른 언어적 모odalities 간의 공통 표현을 학습함으로써 인지 기능 저하 탐지 성능을 향상시키는 새로운 딥러닝 프레임워크인 공감 네트워크(CNs)를 소개한다. 적대적 훈련을 통해 신경망이 서로 일치하는 표현을 학습하도록 유도하며, 413개의 언어적 특징을 모두 사용할 경우 치매 대 조작군 분류에서 매크로 F1 점수가 79.98%를 기록하여 기존의 전통적 분류기 및 최신 기준 모델들을 뛰어넘는 성능을 보였다.

ABSTRACT

Linguistic features have shown promising applications for detecting various cognitive impairments. To improve detection accuracies, increasing the amount of data or the number of linguistic features have been two applicable approaches. However, acquiring additional clinical data can be expensive, and hand-crafting features is burdensome. In this paper, we take a third approach, proposing Consensus Networks (CNs), a framework to classify after reaching agreements between modalities. We divide linguistic features into non-overlapping subsets according to their modalities, and let neural networks learn low-dimensional representations that agree with each other. These representations are passed into a classifier network. All neural networks are optimized iteratively. In this paper, we also present two methods that improve the performance of CNs. We then present ablation studies to illustrate the effectiveness of modality division. To understand further what happens in CNs, we visualize the representations during training. Overall, using all of the 413 linguistic features, our models significantly outperform traditional classifiers, which are used by the state-of-the-art papers.

연구 동기 및 목표

• 인지 기능 저하 탐지를 위해 고비용 데이터 수집이나 수작업 기반 특징 공학에 의존하는 기존 접근 방식의 한계를 해결하기 위해.
• 새로운 데이터나 특징을 확보하지 않고도 다중 언어적 모dalities 간의 공유 정보를 활용하여 분류 정확도를 향상시키기 위해.
• 신경망이 서로 다른 언어적 모dalities 간에 일관되고 저차원의 표현을 학습하도록 하는 프레임워크를 개발하기 위해.
• 모dal 분할, 노이즈 모dal, 협동 최적화가 모델 성능 향상에 기여하는 방식을 평가하기 위해.
• 훈련 과정에서 학습된 표현의 시각화를 통해 설명 가능성 통찰을 제공하기 위해.

제안 방법

• 413개의 언어적 특징을 음성, 문법, 의미적 특성에 기반해 겹치지 않는 모dalities로 분할한다.
• 각 모dal은 전용 신경망('ePhysician')에 의해 처리되며, 다른 모dal의 표현과 일치하는 저차원 표현을 학습한다.
• 적대적 훈련을 통해 판별자 손실을 최소화함으로써, 서로 다른 모dal의 표현이 서로 구별되지 않도록 유도함으로써 공감을 촉진한다.
• 노이즈 모dal은 표현 공간 내 중심 기준점을 제공함으로써 훈련을 안정화시키고 일반화 성능을 향상시키기 위한 정규화 성분으로 도입된다.
• 협동 최적화를 통해 모든 ePhysician와 판별자의 훈련을 동기화함으로써 공통의 목표인 공감에 도달하도록 공동 최적화를 보장한다.
• 최종 분류기는 공감 표현에 대해 훈련되며, 모든 구성 요소가 반복적으로 최적화된다.

실험 결과

연구 질문

• RQ1 적대적 훈련을 사용해 서로 다른 언어적 모dalities 간의 표현을 정렬함으로써 인지 기능 저하 탐지 성능을 향상시킬 수 있는가?
• RQ2 언어적 특징을 겹치지 않는 모dal로 나누고, 이들 간의 일치를 유도함으로써 전통적 방법보다 더 나은 분류 성능을 달성할 수 있는가?
• RQ3 노이즈 모dal과 협동 최적화는 공감 네트워크 프레임워크의 안정성과 정확도에 어떤 기여를 하는가?
• RQ4 학습된 표현이 인지 상태와 관련된 복잡한 비정규 분포 패턴을 어느 정도 반영하는가?
• RQ5 동일한 413개의 언어적 특징을 사용할 때, 공감 메커니즘이 SVM, RF, MLP와 같은 표준 분류기보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 공감 네트워크(CN) 모델은 치매 대 조작군 분류 과제에서 매크로 F1 점수 79.98%를 기록하여, 가장 뛰어난 전통적 분류기(MLP)의 매크로 F1 점수 75.61%를 뛰어넘는 성능을 보였다.
• 제거 실험을 통해 모dal 분할과 공감 학습이 필수적임을 확인하였으며, 일치 메커니즘을 갖지 않은 모델(예: MLP)은 CN보다 성능이 열 劣했다.
• PCA를 사용한 시각화 결과, 서로 다른 모dal의 표현이 대칭적이고 겹치지 않는 클러스터를 형성하여, 상보적인 정보를 캐치하면서도 각기 다른 정체성을 유지하고 있음을 보여주었다.
• 수렴 시 판별자 손실가 약 10^-3 수준으로 유지되어 표현이 정확히 동일하지는 않지만 매우 높은 수준으로 정렬되어 있음을 확인하였으며, 붕괴 없이 효과적인 공감이 이루어졌음을 시사한다.
• 훈련 과정에서 첫 몇 개인 주성분이 설명하는 분산이 증가함에 따라, 공감 표현이 더 단순하고 공유된 분류에 유의미한 패턴에 집중하게 되었다.
• 검증 세트에서의 정확도가 훈련 과정 내내 안정적으로 증가함에 따라, 공감 메커니즘이 인지 기능 저하 탐지에 관련된 특징을 효과적으로 학습함을 확인하였다.