[논문 리뷰] Autoencoder based Domain Adaptation for Speaker Recognition under Insufficient Channel Information

Suwon Shon, Seongkyu Mun외 2명|arXiv (Cornell University)|2017. 08. 03.

Speech Recognition and Synthesis참고 문헌 21인용 수 3

한 줄 요약

이 논문은 자동에코더 기반 도메인 적응(AEDA)을 제안한다. 이는 자원이 풍부한 개발 세트에서 자원이 부족한 테스트 도메인으로의 말하기자 인식 시스템 적응을 위해 표준 자동에코더와 노이즈 제거 자동에코더를 조합한 비지도 학습 방법이다. 채널 정보가 부족한 상황에서, Interspeech 2017 도메인 적응 챌린지에서 평가된 결과, AEDA는 도메인 불일치 조건 하에서 기준 모델 및 이전 방법보다 뚜렷한 성능 향상을 달성하였다.

ABSTRACT

In real-life conditions, mismatch between development and test domain degrades speaker recognition performance. To solve the issue, many researchers explored domain adaptation approaches using matched in-domain dataset. However, adaptation would be not effective if the dataset is insufficient to estimate channel variability of the domain. In this paper, we explore the problem of performance degradation under such a situation of insufficient channel information. In order to exploit limited in-domain dataset effectively, we propose an unsupervised domain adaptation approach using Autoencoder based Domain Adaptation (AEDA). The proposed approach combines an autoencoder with a denoising autoencoder to adapt resource-rich development dataset to test domain. The proposed technique is evaluated on the Domain Adaptation Challenge 13 experimental protocols that is widely used in speaker recognition for domain mismatched condition. The results show significant improvements over baselines and results from other prior studies.

연구 동기 및 목표

• 학습 데이터에 테스트 도메인의 채널 특성이 잘 반영되지 않을 경우 발생하는 말하기자 인식 성능 저하 문제를 해결하기 위해.
• 도메인 이동 완화를 위해 제한된 내부 도메인 데이터를 효과적으로 활용할 수 있는 비지도 도메인 적응 방법을 개발하기 위해.
• 채널 변동성 정보가 부족한 실세계 조건에서 말하기자 인식 시스템의 일반화 성능을 향상시키기 위해.
• 저자원 도메인 환경에서 도메인 적응을 위한 표준 자동에코더와 노이즈 제거 자동에코더의 조합 효과를 탐색하기 위해.

제안 방법

• 방법은 개발 도메인과 테스트 도메인 간에 공통된 압축된 표현을 학습하기 위해 표준 자동에코더를 사용한다.
• 노이즈 제거 자동에코더는 손상된 입력에서 깨끗한 입력을 복원함으로써 복원력을 향상시키고, 예상치 못한 채널 조건에 대한 일반화 능력을 향상시킨다.
• 두 자동에코더는 자원이 풍부한 개발 데이터의 잠재 공간과 제한된 내부 도메인 테스트 데이터의 잠재 공간을 일치시키기 위해 공동으로 훈련된다.
• 특징 수준의 도메인 적응은 개발 세트의 특징을 도메인 간 이동을 줄이는 공통 잠재 공간으로 투영함으로써 수행된다.
• 내부 도메인 레이블이 필요로 하지 않기 때문에, 이는 비지도 적응에 적합하다.
• 최종 말하기자 인식 시스템은 적응된 특징으로 훈련되며, 이는 개선된 일반화 성능을 위해 적응된 표현을 활용한다.

실험 결과

연구 질문

• RQ1 제한된 내부 도메인 데이터만 존재할 경우, 비지도 도메인 적응 방법이 말하기자 인식 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 표준 자동에코더와 노이즈 제거 자동에코더의 조합이 말하기자 인식에서 도메인 이동에 대한 복원력을 어떻게 향상시키는가?
• RQ3 기존 기준 모델 대비 제안된 AEDA 방법이 도메인 불일치 조건에서 성능 저하를 어느 정도 감소시키는가?
• RQ4 표준 자동에코더와 노이즈 제거 자동에코더를 함께 사용할 경우, 저자원 채널 조건에서 더 나은 일반화 성능를 달성할 수 있는가?

주요 결과

• 제안된 AEDA 방법은 도메인 적응 챌린지 2013 프로토콜에서 기준 시스템 대비 뚜렷한 성능 향상을 달성하였다.
• 제한된 내부 도메인 데이터가 존재하는 도메인 불일치 조건 하에서 AEDA는 이전 최고 수준의 방법들을 능가하는 말하기자 인식 성능을 보였다.
• 표준 자동에코더와 노이즈 제거 자동에코더의 조합은 채널 변동성 하에서 더 강건한 특징 표현을 이끌어냈다.
• 비지도 성격 덕분에 레이블이 없는 내부 도메인 데이터가 필요 없이 효과적인 적응이 가능했다.