[논문 리뷰] Information Retrieval for ZeroSpeech 2021: The Submission by University of Wroclaw

Jan Chorowski, Grzegorz Ciesielski외 7명|arXiv (Cornell University)|2021. 06. 22.

Speech Recognition and Synthesis참고 문헌 19인용 수 11

한 줄 요약

이 논문은 2021년 Zero Resource Speech 챌린지에 대한 저자원, 정보 검색 기반 접근법을 제시하며, CPC로부터의 비지도 음성 표현을 개선한다. 이를 위해 화자 불변 투영과 중심점 기반 노이즈 제거를 적용하여 음소 인식(ABX) 성능을 향상시키고, 가짜 단어 발견과 word2vec을 활용해 의미 유사도(sSIMI)를 평가하며, 단순한 LSTM을 문법성 평가(sBLIMP)에 사용한다. 이 방법은 모든 네 가지 과제에서 최고 수준 또는 최고 수준에 가까운 성능을 기록하며, 정교화된 표현이 고계산 비용 기준 시스템과의 격차를 크게 좁힐 수 있음을 보여준다.

ABSTRACT

We present a number of low-resource approaches to the tasks of the Zero Resource Speech Challenge 2021. We build on the unsupervised representations of speech proposed by the organizers as a baseline, derived from CPC and clustered with the k-means algorithm. We demonstrate that simple methods of refining those representations can narrow the gap, or even improve upon the solutions which use a high computational budget. The results lead to the conclusion that the CPC-derived representations are still too noisy for training language models, but stable enough for simpler forms of pattern matching and retrieval.

연구 동기 및 목표

• 언어적 지도 없이도 CPC로부터의 비지도 음성 표현을 개선하여 저자원 음성 과제에 활용하기 위해.
• CPC 임베딩의 화자 관련 변동성을 줄여 음소 수준의 인식(ABX 과제) 성능을 향상시키기 위해.
• 발견된 가짜 단어와 word2vec 임베딩을 활용해 효과적인 정보 검색 및 의미 유사도 추정을 가능하게 하기 위해.
• 저자원 조건에서 양자화된 nullspace 특징을 기반으로 단순한 LSTM 모델의 문법성 평가(sBLIMP) 성능을 평가하기 위해.
• 신경 기억과 흐린 검색의 상호보완적 작용이 원시 음성에서 사전 발견에 어떻게 기여할 수 있는지 탐색하기 위해.

제안 방법

• 화자 분류기의 영공(nullspace)에 투영하기 위해 요소 분해된 선형 투영을 CPC 임베딩에 적용하여 화자 특이 정보를 감소시키기 위해.
• CPC 임베딩과 그에 할당된 k-means 클러스터 중심점의 가중 평균을 사용하여 표현을 노이즈 제거하면서 국소적 구조를 유지하기 위해.
• 유니그램 언어 모델과 반복적인 어휘 개선을 사용한 SentencePiece를 통해 음성 데이터를 가짜 단어로 분할하기 위해.
• 분할된 가짜 단어에 대해 word2vec 모델을 훈련시켜 의미적 단어 임베딩을 생성하여 유사도 과제에 활용하기 위해.
• sBLIMP 문법 평가 과제를 위해, 양자화된 nullspace 특징에 기반한 단순한 LSTM 언어 모델을 사용하기 위해.
• 편집 거리 기반 매칭과 word2vec 임베딩을 조합하여 검색 과정에서 OOV(Out-of-Vocabulary) 가짜 단어 시퀀스를 처리하기 위해.

실험 결과

연구 질문

• RQ1 CPC 임베딩의 화자 불변 투영이 저자원 음소 인식(ABX) 성능을 향상시킬 수 있는가?
• RQ2 CPC 임베딩의 중심점 기반 노이즈 제거가 음소, 의미, 문법 과제의 최종 성능을 향상시킬 수 있는가?
• RQ3 비지도 분할과 word2vec 학습을 통해 발견된 가짜 단어가 말의 유사도를 위한 효과적인 의미 표현을 제공할 수 있는가?
• RQ4 저자원, 양자화된 특징에 기반한 단순한 LSTM 모델이 sBLIMP 과제의 문법 평가에서 얼마나 효과적인가?
• RQ5 신경 기억과 흐린 검색의 하이브리드 접근법이 원시 음성에서 사전 발견을 향상시킬 수 있는가?

주요 결과

• 448차원 nullspace 투영과 중심점 평균화를 조합한 결과, ABX 오차율은 내부(Within) 2.93%, 교차(Across) 3.57%를 기록하여 베이스라인을 초월하였다.
• LibriSpeech 테스트 세트에서 sSIMI 과제에 대해 10.20%의 상관관계를 달성하여 LibriSpeech 서브카테고리에서 1위를 기록하였다.
• sBLIMP 과제에서 LSTM 모델은 개발 및 테스트 세트에서 각각 53%의 정확도를 기록하여 베이스라인을 略로 초월하였고, 무작위 가중치보다 높은 성능(52.9%)을 보였다.
• nullspace 투영을 적용한 후 음소 분류 정확도는 76.86%로 떨어졌으며, 이는 나머지 차원에 잔류한 화자 정보가 존재함을 시사한다.
• 토큰화된 LibriSpeech 전사문에 기반한 word2vec 모델은 sSIMI 합성 세트에서 16.8%의 점수를 기록하였으며, 합성 부분에서 RoBERTa 최상위 성능(32.28%)을 초월하였다.
• 결과는 CPC 기반 표현이 언어 모델링에는 너무 노이즈가 많지만, 패턴 매칭과 검색에는 충분히 안정적이며, 특히 노이즈 제거와 클러스터링을 통해 정교화된 경우 더욱 효과적임을 시사한다.