[논문 리뷰] Learning acoustic word embeddings with phonetically associated triplet network

Hyungjun Lim, Younggwan Kim외 3명|arXiv (Cornell University)|2018. 11. 07.

Speech Recognition and Synthesis참고 문헌 25인용 수 4

한 줄 요약

이 논문은 청각 어휘 임베딩의 분류 능력을 향상시키기 위해 삼중손실과 프레임 수준의 교차엔트로피 손실을 이원적 양방향 LSTM 아키텍처에서 동시에 최적화하는 계층적 다중작업 학습 프레임워크인 음성적으로 연관된 삼중망(PATN)을 제안한다. 이 방법은 깨어나기 위한 단어 검출에서 시간당 1.0회의 거짓 경고가 발생할 때 20퍼센트 이상의 상대적 성능 향상을 달성하였으며, 도메인 외 데이터에 대해서도 뛰어난 일반화 성능을 보였다.

ABSTRACT

Previous researches on acoustic word embeddings used in query-by-example spoken term detection have shown remarkable performance improvements when using a triplet network. However, the triplet network is trained using only a limited information about acoustic similarity between words. In this paper, we propose a novel architecture, phonetically associated triplet network (PATN), which aims at increasing discriminative power of acoustic word embeddings by utilizing phonetic information as well as word identity. The proposed model is learned to minimize a combined loss function that was made by introducing a cross entropy loss to the lower layer of LSTM-based triplet network. We observed that the proposed method performs significantly better than the baseline triplet network on a word discrimination task with the WSJ dataset resulting in over 20% relative improvement in recall rate at 1.0 false alarm per hour. Finally, we examined the generalization ability by conducting the out-of-domain test on the RM dataset.

연구 동기 및 목표

• 예측 기반 음성 어휘 검색을 위한 청각 어휘 임베딩의 분류 능력을 향상시키기 위해.
• 삼중망이 음성 정보를 忽略하고 오직 어휘 수준의 유사성에 의존한다는 한계를 해결하기 위해.
• 특히 깨어나기 위한 단어 검출에 있어 도메인 외 데이터에 대한 모델 일반화 능력을 향상시키기 위해.
• 계층적 다중작업 학습을 통해 삼중망에 음성 수준의 감독을 통합하기 위해.

제안 방법

• 공유된 양방향 LSTM 아키텍처에서 삼중손실과 프레임 수준의 교차엔트로피 손실을 결합한 음성적으로 연관된 삼중망(PATN)을 제안한다.
• 합성 손실 함수를 도입: $\mathcal{L}_{PT} = (1-\lambda)\mathcal{L}_T + \lambda\mathcal{L}_{CE}$, 여기서 $\lambda$ 는 어휘 수준과 프레임 수준 학습 간의 트레이드오프를 조절한다.
• 하위 LSTM 레이어에서 교차엔트로피 손실을 적용하여 음성 변형을 모델링하고, 상위 레이어에서 삼중손실을 적용하여 클래스 간 및 클래스 내 임베딩 간 분리성을 강화한다.
• 코사인 유사도 계산을 위해 이원적 양방향 LSTM 은닉 상태의 연결을 최종 청각 어휘 임베딩으로 사용한다.
• 임베딩의 군집화 및 구분 가능성 평가를 위해 t-SNE 시각화를 활용한다.
• WSJ 데이터셋에서 학습하고, 도메인 내(WSJ) 및 도메인 외(RM) 테스트 세트에서 평가한다.

실험 결과

연구 질문

• RQ1 음성과 어휘 수준의 기준을 함께 학습함으로써 청각 어휘 임베딩의 분류 품질을 향상시킬 수 있는가?
• RQ2 프레임 수준의 음성 감독을 통합하면 도메인 외 깨어나기 위한 단어 검출에 대한 일반화 능력이 향상되는가?
• RQ3 기본 삼중망과 비교해 본다면, 제안된 PATN 모델은 Recall과 거짓 경고율 측면에서 어떻게 성능을 내는가?
• RQ4 모델 크기를 늘리지 않고도 성능 향상 효과를 유지할 수 있는가?

주요 결과

• 제안된 PATN는 도메인 내 WSJ 데이터셋에서 시간당 1.0회의 거짓 경고가 발생할 때 Recall이 0.714를 기록하여 기준 삼중망 대비 20퍼센트 이상의 상대적 향상을 달성하였다.
• 도메인 외 RM 데이터셋에서는 PATN의 Recall이 0.582로 기준 모델의 0.463보다 뚜렷한 향상을 보이며 강력한 일반화 능력을 입증하였다.
• t-SNE 시각화 결과 PATN는 특히 음성적으로 유사한 단어들(예: 'give' 대비 'get', 'have' 대비 'how')에 대해 더 잘 분리되고 혼동이 적은 단어 군집을 생성하는 것으로 나타났다.
• 두 개의 BLSTM 레이어와 $\lambda=0.1$ 조합에서 최고의 성능을 기록하여 삼중손실과 교차엔트로피 손실 간 최적의 트레이드오프를 이룬 것으로 확인되었다.
• 모델 크기를 늘리지 않아도 성능 향상이 달성되었으며, 이는 합성 학습 전략의 효과성을 확인하는 데 기여하였다.