[논문 리뷰] Weakly Supervised Multi-Embeddings Learning of Acoustic Models

Gabriel Synnaeve, Emmanuel Dupoux|arXiv (Cornell University)|2014. 12. 20.

Speech Recognition and Synthesis참고 문헌 11인용 수 6

한 줄 요약

이 논문은 같은/다른 단어 및 같은/다른 발화자 레이블만을 사용하여 음소와 발화자 임베딩을 동시에 학습하는 약한 감독을 받는 시아모닉 신경망을 제안한다. Buckeye 코퍼스의 일부를 다중 과제 손실로 훈련시켜 음소 및 발화자 식별 성능 모두에서 뛰어난 성능을 달성하였으며, 이는 최소한의 감독으로도 공유 표현을 효과적으로 학습할 수 있음을 보여주며, 임베딩 공간에서 발화자 신원 정보는 음소 신원 정보보다 더 희박하고 특이하게 코딩되어 있음을 드러낸다.

ABSTRACT

We trained a Siamese network with multi-task same/different information on a speech dataset, and found that it was possible to share a network for both tasks without a loss in performance. The first task was to discriminate between two same or different words, and the second was to discriminate between two same or different talkers.

연구 동기 및 목표

• 같은/다른 레이블만을 사용하여 음소와 발화자 임베딩의 공동 학습이 가능한지 조사하기.
• 공유된 시아모닉 네트워크 아키텍처가 각각의 음소 및 발화자 식별 과제에서 성능 저하 없이 성능을 유지할 수 있는지 평가하기.
• 은닉층 및 임베딩층에서의 정보 코딩 특성, 특히 음소 대비 발화자 신원에 대한 특화 정도를 분석하기.
• 이러한 임베딩가 후속 음성 인식 과제에서 i-벡터의 타당한 대안 또는 보완이 될 수 있는지 평가하기.

제안 방법

• 11프레임의 로그멜 필터뱅크 특징을 처리하는 두 개의 병렬 스트림을 갖는 시아모닉 네트워크 아키텍처를 사용한다.
• 시그모이드 활성화를 갖는 3개의 은닉층(각각 500개 유닛)을 거쳐, 입력당 두 개의 100차원 임베딩을 생성한다: 하나는 단어 신원(음소)용, 다른 하나는 발화자 신원용.
• 다중 과제 손실 함수는 음소 및 발화자 동일/다른 분류에 기반한 코사인 유사도 손실을 조합하며, 두 손실 항목의 합으로 구성된다.
• 손실 함수는 마진 기반 접근법을 사용한다: 동일 쌍의 경우 1 - 유사도 코사인을 최소화하고, 다른 쌍의 경우 유사도의 제곱을 최대화한다.
• 학습은 적응형 학습률을 갖는 Adadelta 최적화 방법을 사용하며, 10%의 개별 검증 세트에서 조기 정지 기법을 적용한다.
• 정보 코딩 분석은 각 층의 유닛들에 대해 반복군 간 분산과 반복군 내 분산 비율의 F-검정을 통해 수행되며, 유닛들을 음소 특화, 발화자 특화, 또는 이중 특화로 분류한다.

실험 결과

연구 질문

• RQ1 같은/다른 단어 및 발화자 레이블만을 사용하여 단일 시아모닉 네트워크가 음소와 발화자 임베딩을 효과적으로 학습할 수 있는가?
• RQ2 공동 학습이 단일 과제 학습 대비 각 개별 과제의 성능에 어떤 영향을 미치는가?
• RQ3 은닉층 및 임베딩층에서 음소 대비 발화자 신원에 대한 특화 정도는 어느 정도인가?
• RQ4 네트워크 층을 거쳐가며 코딩 유닛의 희박성과 분포는 어떻게 변화하는가?
• RQ5 학습된 임베딩가 음소 식별 또는 발화자 확인과 같은 후속 과제에서 활용될 수 있는가?

주요 결과

• 다중 과제 모델은 음소 및 발화자 식별 과제에서 모두 뛰어난 성능을 보였으며, 단일 과제 기준선 대비 성능 저하 없이 유지되었다.
• 다중 과제 설정에서 발화자 식별 성능이 필터뱅크 기준선보다 높았으며, 이는 음운 정보가 발화자 인식에 기여함을 시사한다.
• 음소 임베딩 층은 발화자 임베딩 층(85.1% ABX 정확도)에 비해 성능이 낮았으며(64.8% ABX 정확도), 이는 현재 설정에서 음소 코딩이 덜 강건함을 시사한다.
• 은닉층 분석 결과, 초기 층은 주로 음소 정보를 코딩하고 있으며, 후속 층으로 갈수록 점점 더 발화자 특화 코딩이 증가하고 이중 코딩 유닛의 수는 감소함을 확인하였다.
• 발화자 임베딩 층은 매우 희박하고 특이한 코딩을 보였으며, 반면 음소 임베딩 층은 더 많은 이중 사용 유닛과 덜 특이한 유닛을 포함하여 발화자 변동성으로 인한 간섭이 있음을 시사한다.
• 필터뱅크 계수 분석 결과, 저주파수 대역은 음운 콘텐츠에 더 민감한 반면, 고주파수 대역은 발화자 특성에 더 민감한 것으로 나타났다.