[논문 리뷰] Sparsely Connected and Disjointly Trained Deep Neural Networks for Low Resource Behavioral Annotation: Acoustic Classification in Couples' Therapy

Haoqi Li, Brian Baucom외 1명|arXiv (Cornell University)|2016. 06. 14.

Music and Audio Processing참고 문헌 17인용 수 5

한 줄 요약

이 논문은 저자원 환경에서 행동 분류를 향상시키기 위해 희박하게 연결되고 별도로 훈련되는 딥 뉴럴 네트워크(DNN) 프레임워크(SD-DNN)를 제안한다. 특히 부부 치료에서 음향 분석에 초점을 맞추고 있다. 음향 특징을 부분집합으로 분할하고, 별도로 훈련된 DNN를 만들며, 그들의 은닉층을 융합함으로써 모델의 파라미터 복잡도를 감소시키고 제한된, 노이즈가 많은 데이터에서 수렴성을 향상시킨다. 이로 인해 수용 행동에 대해 최대 75.36%의 정확도를 기록했으며, 기준 모델들보다 뚜렷이 뛰어나다.

ABSTRACT

Observational studies are based on accurate assessment of human state. A behavior recognition system that models interlocutors' state in real-time can significantly aid the mental health domain. However, behavior recognition from speech remains a challenging task since it is difficult to find generalizable and representative features because of noisy and high-dimensional data, especially when data is limited and annotated coarsely and subjectively. Deep Neural Networks (DNN) have shown promise in a wide range of machine learning tasks, but for Behavioral Signal Processing (BSP) tasks their application has been constrained due to limited quantity of data. We propose a Sparsely-Connected and Disjointly-Trained DNN (SD-DNN) framework to deal with limited data. First, we break the acoustic feature set into subsets and train multiple distinct classifiers. Then, the hidden layers of these classifiers become parts of a deeper network that integrates all feature streams. The overall system allows for full connectivity while limiting the number of parameters trained at any time and allows convergence possible with even limited data. We present results on multiple behavior codes in the couples' therapy domain and demonstrate the benefits in behavior classification accuracy. We also show the viability of this system towards live behavior annotations.

연구 동기 및 목표

• 정신 건강 적용 분야에서 행동 신호 처리(BSP)의 데이터 희소성 문제를 해결한다.
• 제한된, 굴곡진, 주관적인 행동 주석을 기반으로 훈련할 때 딥 러닝 모델의 수렴성 부족과 과적합 문제를 극복한다.
• 낮은 데이터 가용성에도 불구하고 높은 성능을 유지하는 확장 가능하고 효율적인 DNN 프레임워크를 개발한다.
• 임상 모니터링 및 간섭을 위한 실시간, 지속적인 행동 궤적 추정을 가능하게 한다.
• SD-DNN 프레임워크가 부부 치료의 세션 수준 및 온라인 행동 주석에 적용 가능한지를 입증한다.

제안 방법

• 차원을 줄이고 모델 복잡도를 낮추기 위해 음향 특징 전체 집합(MFCC, 피치, 저지, 샤이머 등)을 상호 배타적인 부분집합으로 분할한다.
• 모든 특징 부분집합에 대해 별도의 최적화 과정을 거쳐 더 작은, 독립적인 DNN들을 훈련시어 동시에 훈련 가능한 파라미터 수를 제한한다.
• 개별 DNN의 은닉층을 더 깊은, 완전 연결된 융합 네트워크로 연결하여 다중 스트림 표현을 통합한다.
• 훈련된 SD-DNN를 완전 연결 DNN(DNN_SD-init)의 가중치 초기화로 사용하여 희소성과 파라미터 공유의 영향을 평가한다.
• 스피어모델(SVM), 표준 완전 연결 DNN, 공동 훈련된 DNN(SJ-DNN)과의 성능 비교를 통해 희소성과 별도 훈련의 이점을 분리하여 분석한다.
• 세션 수준 정규화와 슬라이딩 윈도우 특징 추출을 적용하여 온라인 행동 궤적 추정을 위한 시간적 동적 특성을 유지한다.

실험 결과

연구 질문

• RQ1 희박하게 연결되고 별도로 훈련된 DNN 아키텍처가 저자원 행동 신호 처리 작업의 분류 정확도를 향상시킬 수 있는가?
• RQ2 별도 훈련을 통해 동시에 훈련 가능한 파라미터 수를 제한하면, 작은 데이터셋에서 모델의 수렴성과 성능이 향상되는가?
• RQ3 SD-DNN의 성능은 음향 기반 행동 분류에서 표준 완전 연결 DNN 및 SVM 기준 모델과 비교해 어떻게 되는가?
• RQ4 SD-DNN 프레임워크는 임상 모니터링을 위한 실시간, 지속적인 행동 궤적 추정을 지원할 수 있는가?
• RQ5 SD-DNN 가중치로 완전 연결 DNN를 초기화하면 파라미터 수가 증가하더라도 성능 향상이 이루어지는가?

주요 결과

• SD-DNN는 수용 행동 코드에서 75.36%의 정확도를 기록했으며, SVM 기준 모델의 68.57%와 완전 연결 DNN의 71.79%보다 뚜렷이 높았다.
• 공동 훈련된 SJ-DNN 모델(수용 행동에서 73.57% 정확도)보다 SD-DNN가 성능이 뛰어나, 별도 훈련이 과적합을 줄이고 일반화 능력을 향상시킨다는 것을 시사한다.
• SD-DNN 가중치로 초기화된 완전 연결 DNN(DNN_SD-init)는 SD-DNN보다 성능이 떨어졌으며, 이는 데이터가 희소할 경우 연결성 증가가 성능에 악영향을 준다는 것을 시사한다.
• SD-DNN 프레임워크를 통해 지속적인 행동 궤적 생성이 가능했으며, 부정성/비난과 수용 간의 역상관 관계와 같은 의미 있는 시간적 역동성을 드러냈다.
• 이 방법은 실시간 행동 주석에 대한 타당성을 입증했으며, 현장 및 지속적인 모니터링 환경에서의 구현 가능성을 지원한다.
• 결과적으로, 파라미터 희소성과 별도 훈련이 모두 저데이터 BSP 응용 분야에서 DNN 성능 향상에 핵심적임을 확인했다.