[논문 리뷰] Sampling strategies in Siamese Networks for unsupervised speech representation learning

Rachid Riad, Corentin Dancette외 4명|arXiv (Cornell University)|2018. 04. 30.

Speech Recognition and Synthesis인용 수 14

한 줄 요약

이 논문은 비지도 음성 표현 학습을 위한 시아모이드 네트워크에서 샘플링 전략의 영향을 조사하며, 어휘 유형의 주파수 압축과 동일/다른 단어 쌍의 최적 비율이 청각적 구별 능력을 크게 향상시킨다는 것을 입증한다. 제안된 샘플링 전략은 ZeroSpeech 2015 벤치마크에서 이전의 신경망 방법들을 능가하며, 약한 지도 학습 환경에서의 부분어소리 표현 학습에서 최고 성능을 기록하고, 완전히 비지도 설정으로 효과적으로 전이된다.

ABSTRACT

Recent studies have investigated siamese network architectures for learning invariant speech representations using same-different side information at the word level. Here we investigate systematically an often ignored component of siamese networks: the sampling procedure (how pairs of same vs. different tokens are selected). We show that sampling strategies taking into account Zipf's Law, the distribution of speakers and the proportions of same and different pairs of words significantly impact the performance of the network. In particular, we show that word frequency compression improves learning across a large range of variations in number of training pairs. This effect does not apply to the same extent to the fully unsupervised setting, where the pairs of same-different words are obtained by spoken term discovery. We apply these results to pairs of words discovered using an unsupervised algorithm and show an improvement on state-of-the-art in unsupervised representation learning using siamese networks.

연구 동기 및 목표

• 샘플링 전략—특히 어휘 빈도 분포와 쌍의 구성 방식—이 시아모이드 네트워크의 음성 표현 학습 성능에 미치는 영향을 체계적으로 평가하는 것.
• 지프의 법칙, 화자 분포, 동일/다른 쌍의 비율이 약한 지도 학습 및 완전히 비지도 학습 환경에서 학습에 미치는 영향을 조사하는 것.
• 골드 애너테이션 데이터에서 최적의 샘플링 초모수를 도출하여, 비지도 말어진 용어 탐지 출력으로 전이함으로써, 자원이 부족한 음성 과제에서 성능을 향상시키는 것.
• 저자원 및 자원이 전혀 없는 음성 환경에서 청각적 구별 능력을 최대화하는 시아모이드 네트워크의 최적 샘플링 구성 요건을 규명하는 것.

제안 방법

• 저자들은 공유 가중치와 대비 손실을 사용한 파이토치 기반의 시아모이드 네트워크(ABnet3)를 구현하며, 스택된 7프레임 필터뱅크 특징 쌍을 사용한다.
• 네트워크에 입력하기 전에 동일어 단어 쌍을 프레임 수준에서 동적 시간 왜곡(DTW)으로 정렬한다.
• 어휘 유형에 주파수 압축 함수 φ를 적용하여 고빈도 어휘의 지배를 줄이도록 빈도 분포를 변형한다.
• 동일어 대비 다른어 단어 쌍의 선택 확률을 조정함으로써 샘플링 비율을 최적화하며, 어휘 유형 및 화자 수준의 매칭에 대해 별도 제어를 한다.
• 성능 평가는 골드 어휘 수준 애너테이션(약한 지도 학습)과 말어진 용어 탐지(STD) 출력(완전히 비지도 학습)을 사용한 버크레이 코퍼스에서 평가된다.
• 성능는 ABX의 구별 능력 지표로 측정되며, 내부 및 외부 화자 조건에서 결과가 보고된다.

실험 결과

연구 질문

• RQ1 어휘 빈도 압축이 시아모이드 네트워크에서 학습된 음성 표현의 구별 능력에 어떤 영향을 미치는가?
• RQ2 훈련에 적합한 동일어 대비 다른어 단어 쌍의 비율은 무엇이며, 데이터 크기 및 분포에 따라 어떻게 변화하는가?
• RQ3 약한 지도 학습 데이터에서 최적화된 샘플링 전략이 말어진 용어 탐지 출력을 사용해 완전히 비지도 설정으로 성공적으로 전이될 수 있는가?
• RQ4 말어진 용어 탐지 시스템에서의 DTW 임계값이 쌍의 품질과 후속 표현 학습에 어떤 영향을 미치는가?
• RQ5 지프의 법칙에 기반한 샘플링 초모수는 자원이 없는 음성 표현 학습에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 어휘 유형에 주파수 압축(φ: n → 1)을 적용하면, 약한 지도 학습 환경에서 ABX의 구별 능력이 크게 향상되어 버크레이 데이터셋에서 오차율이 내부 조건에서 10.4, 외부 조건에서 17.2로 감소한다.
• 최적의 샘플링 구성은 P^w_- = 0.7(70%의 다른어 단어 쌍) 및 P^s_- = 0(화자 혼합 없음)이며, 표준 50/50 분할보다 우수한 성능을 기록한다.
• 이와 동일한 샘플링 전략을 비지도 학습 환경으로 전이한 결과—Jansen 등이 제안한 STD 시스템에서 발견된 어휘 쌍을 사용하여—δ = 0.88일 때 ABX 오차율이 17.7(외부)로 나타나 이전의 신경망 기반 베이스라인을 능가한다.
• STD 시스템에서 커버리지와 NED의 최적 균형은 δ = 0.88에서 달성되며, 이는 9,853개의 클러스터, NED = 0.442, 커버리지 = 0.394를 제공하며 강력한 구별 능력을 유지한다.
• 비록 성능 향상이 있었지만, DPGMM 기반 방법(Heck 등)은 여전히 ZeroSpeech 2015 벤치마크에서 최고 성능을 기록하며, 버크레이 데이터셋에서 8.0(외부)의 ABX 오차율을 기록한다.
• 본 연구는 샘플링 전략이 청각적 표현 학습에서 중요한 초모수임을 확인하였으며, 아키텍처나 손실 함수 선택 수준의 영향을 미친다.