[논문 리뷰] Robustness against the channel effect in pathological voice detection

Yi‐Te Hsu, Zining Zhu외 4명|arXiv (Cornell University)|2018. 11. 26.

Speech and Audio Processing참고 문헌 8인용 수 5

한 줄 요약

이 논문은 다양한 기록 장치에서 발생하는 채널 효과를 보완하기 위해 도메인 적대적 훈련(DAT)을 사용한 양방향 LSTM을 활용한 강건한 병리성 음성 탐지 시스템을 제안한다. 비지도 도메인 적응을 통해 모델은 레이블이 없는 스마트폰 데이터에서 PR-AUC 0.9455를 달성하였으며, 적응 없이선 0.8448로 상당한 향상이 이루어졌고, 이는 이 작업에 대해 처음으로 비지도 도메인 적응 접근법을 적용한 것이다.

ABSTRACT

Many people are suffering from voice disorders, which can adversely affect the quality of their lives. In response, some researchers have proposed algorithms for automatic assessment of these disorders, based on voice signals. However, these signals can be sensitive to the recording devices. Indeed, the channel effect is a pervasive problem in machine learning for healthcare. In this study, we propose a detection system for pathological voice, which is robust against the channel effect. This system is based on a bidirectional LSTM network. To increase the performance robustness against channel mismatch, we integrate domain adversarial training (DAT) to eliminate the differences between the devices. When we train on data recorded on a high-quality microphone and evaluate on smartphone data without labels, our robust detection system increases the PR-AUC from 0.8448 to 0.9455 (and 0.9522 with target sample labels). To the best of our knowledge, this is the first study applying unsupervised domain adaptation to pathological voice detection. Notably, our system does not need target device sample labels, which allows for generalization to many new devices.

연구 동기 및 목표

• 다양한 기록 장치로 인한 채널 불일치 문제를 해결하기 위해.
• 목표 장치에서 레이블이 없는 데이터를 요구하지 않고도 다양한 장치 간에 일반화 가능한 강건한 모델을 개발하기 위해.
• 스마트폰과 같은 저자원, 레이블이 없는 목표 장치에서 비지도 도메인 적응을 통해 성능을 향상시키기 위해.
• 다양한 전처리 및 네트워크 아키텍처에서 MFCC와 필터 밴드의 성능을 평가하기 위해.
• 소비자 수준의 모바일 장치에 고정밀 음성 병리 탐지 시스템을 구현할 수 있는 가능성을 입증하기 위해.

제안 방법

• 입력 특징으로는 26차원 MFCC와 40차원 필터 밴드를 사용하였으며, 경계 효과를 줄이기 위해 32ms 윈도우 길이와 반중첩 프레임 이동을 적용하였다.
• 양방향 LSTM(BLSTM) 네트워크가 입력 특징을 잠재 표현으로 인코딩한 후, 병리성 음성 분류를 위한 밀집층이 연결된다.
• 도메인 적대적 훈련(DAT)은 기울기 반전 레이어(GRL)를 통해 적용되어 도메인 분류기 성능을 최소화함으로써 도메인 불변 특징을 분리한다.
• 모델은 고품질 마이크로 기록된 데이터(소스 도메인)에서 훈련되고, 레이블이 없는 스마트폰 데이터(타겟 도메인)에서 테스트되어 비지도 적응이 가능해진다.
• 손실 함수는 분류를 위한 교차 엔트로피와 도메인 정렬을 위한 적대적 손실을 조합하여 엔드 투 엔드로 최적화된다.
• 특징 정규화는 하이퍼파라미터로 평가되었으며, 최종 설정에서 비정규화된 필터 밴드가 더 우수한 성능를 보였다.

실험 결과

연구 질문

• RQ1 비지도 도메인 적응이 저자원, 레이블이 없는 스마트폰 데이터에서 병리성 음성 탐지 성능을 향상시킬 수 있는가?
• RQ2 프론트엔드 특징 선택(MFCC 대비 필터 밴드)과 정규화의 선택이 모델의 강건성에 어떤 영향을 미치는가?
• RQ3 병리성 탐지에 있어 순차적 음성 패턴을 모델링할 때, 양방향 LSTM이 다층 퍼셉트론(MLP)보다 우수한가?
• RQ4 도메인 적대적 훈련이 고품질 마이크로 기록된 데이터와 스마트폰 기록 간의 채널 불일치 영향을 어느 정도 감소시키는가?
• RQ5 해당 장치에서 레이블 샘플이 없이도 모델이 새로운 장치로 일반화할 수 있는가?

주요 결과

• 제안된 비지도 도메인 적응 시스템은 레이블이 없는 스마트폰 데이터에서 PR-AUC 0.9455를 달성하였으며, 적응 없이선 0.8448로 상당한 향상이 이루어졌다.
• 타겟 장치의 레이블이 제공될 경우, 시스템은 PR-AUC 0.9522에 도달하여 도메인 적대적 훈련의 효과를 입증하였다.
• 양방향 LSTM은 MLP보다 우수한 성능를 보였으며, 정규화된 MFCC를 사용할 경우 PR-AUC 0.9415를 기록하였고, MLP는 0.9154를 기록하였다.
• 비정규화된 필터 밴드는 정규화된 것보다 더 우수한 성능를 보였으며, PR-AUC 0.9478를 기록하였고, 정규화된 MFCC는 0.9415를 기록하였다.
• 고품질 마이크로 기록된 데이터에서 훈련된 모델은 타겟 샘플의 레이블이 전혀 없이도 스마트폰 기록으로 효과적으로 일반화되었으며, 채널 효과에 대한 강건성을 입증하였다.
• 제안된 방법은 병리성 음성 탐지에 비지도 도메인 적응을 적용한 최초의 사례로, 다양한 모바일 장치에의 구현 가능성을 보여주었다.