[논문 리뷰] Tie Your Embeddings Down: Cross-Modal Latent Spaces for End-to-end Spoken Language Understanding

Bhuvan Agrawal, Markus Müller외 4명|arXiv (Cornell University)|2020. 11. 18.

Speech Recognition and Synthesis인용 수 8

한 줄 요약

이 논문은 BERT를 통한 의미 지침을 활용하여 액ustic 및 텍스트 임베딩을 명시적인 손실 함수를 통해 정렬하는 크로스모달 잠재공간(CMLS) 아키텍처를 제안한다. 트리플릿 손실이 L2 및 이전의 CMLS 방법보다 우수한 성능을 보이며, 두 개의 엔드 투 엔드 스피치 랭귀지 언더스탠딩(E2E SLU) 데이터셋에서 각각 1.4% 및 4%의 상대적 향상을 이룬다. 특히 복잡하고 자원이 부족한 데이터에서 일반화 능력 향상에 기여한다.

ABSTRACT

End-to-end (E2E) spoken language understanding (SLU) systems can infer the semantics of a spoken utterance directly from an audio signal. However, training an E2E system remains a challenge, largely due to the scarcity of paired audio-semantics data. In this paper, we treat an E2E system as a multi-modal model, with audio and text functioning as its two modalities, and use a cross-modal latent space (CMLS) architecture, where a shared latent space is learned between the `acoustic' and `text' embeddings. We propose using different multi-modal losses to explicitly guide the acoustic embeddings to be closer to the text embeddings, obtained from a semantically powerful pre-trained BERT model. We train the CMLS model on two publicly available E2E datasets, across different cross-modal losses and show that our proposed triplet loss function achieves the best performance. It achieves a relative improvement of 1.4% and 4% respectively over an E2E model without a cross-modal space and a relative improvement of 0.7% and 1% over a previously published CMLS model using $L_2$ loss. The gains are higher for a smaller, more complicated E2E dataset, demonstrating the efficacy of using an efficient cross-modal loss function, especially when there is limited E2E training data available.

연구 동기 및 목표

• 엔드 투 엔드 스피치 랭귀지 언더스탠딩(E2E SLU)에서 쌍화된 오디오-의미 데이터가 제한적인 문제를 해결하기 위해 크로스모달 학습을 활용한다.
• 공통 잠재공간 내에서 음성 및 텍스트 임베딩을 정렬하여 저자원 E2E SLU에서 의미 일반화 능력을 향상시킨다.
• 음성 및 텍스트 임베딩을 다중모달 손실 함수로 정렬하기 위한 다양한 손실 함수—L2, 쌍별 랭킹, 트리플릿 손실—의 효과를 평가한다.
• 대부분의 학습이 공통 잠재공간 내에서 음성 및 텍스트 임베딩 간의 정렬을 향상시키는 데 효과적인지 조사한다.
• CMLS 설정이 의도별로 음성 임베딩의 군집화를 향상시켜 내부 클래스 분산과 오진 양성률을 감소시킬 수 있음을 보여준다.

제안 방법

• 모델은 음성 및 텍스트 모odal 간에 공통 임베딩 공간을 공유하기 위해 크로스모달 잠재공간(CMLS)을 사용하며, 텍스트 임베딩은 사전 학습된 BERT 모델에서 유도된다.
• 음성 인코더는 다중모달 손실 함수를 사용하여 BERT 기반 텍스트 임베딩과 유사한 표현을 생성하도록 훈련된다.
• 세 가지 손실 함수를 평가한다: L2 손실, 쌍별 랭킹 손실, 트리플릿 손실이며, 후자는 긍정 쌍 간의 거리를 최소화하고 어려운 부정 쌍 간의 거리를 최대화하는 데 전용으로 설계된다.
• 대부분의 학습은 음성 및 텍스트 임베딩을 구분하는 디스크림이너를 훈련시켜 음성 인코더가 더 텍스트 유사 표현을 생성하도록 유도한다.
• 모델은 두 개의 공개 E2E SLU 데이터셋인 SNIPS 및 ATIS에서 훈련되며, 성능은 의도 분류 정확도 및 오진 양성률로 측정된다.
• t-SNE 시각화를 통해 잠재공간 내 음성 임베딩의 군집 품질을 분석하고, CMLS 및 베이스라인 모델 간을 비교한다.

실험 결과

연구 질문

• RQ1 명시적인 손실 함수를 갖는 크로스모달 잠재공간이 저자원 데이터셋에서 특히 성능 향상에 기여하는가?
• RQ2 L2, 쌍별 랭킹, 트리플릿 손실 등의 다양한 다중모달 손실 함수가 음성 및 텍스트 임베딩 정렬에 어떻게 영향을 미치는가?
• RQ3 대부분의 학습이 공통 잠재공간 내에서 음성 및 텍스트 임베딩 간의 정렬을 효과적으로 향상시킬 수 있는가?
• RQ4 CMLS 모델은 '증가'와 '감소'처럼 의미적으로 반대이지만 음성적으로 유사한 의도 쌍에 대해 오진 예측을 줄일 수 있는가?
• RQ5 CMLS 모델에서 유도된 음성 임베딩은 크로스모달 정렬이 없는 베이스라인 모델 대비 의도 클래스별로 더 낮은 내부 클래스 분산을 보이며 더 우수한 군집화를 보이는가?

주요 결과

• 트리플릿 손실이 가장 높은 성능을 기록했으며, CMLS를 포함하지 않은 E2E 모델 대비 SNIPS 및 ATIS 데이터셋에서 각각 1.4% 및 4%의 상대적 향상을 이룬다.
• 트리플릿 손실은 복잡하고 저자원 데이터셋에서 일반화 능력을 향상시키며, 더 도전적인 SNIPS 데이터셋에서 성과 향상이 더 두드러진다.
• CMLS 모델은 의미적으로 반대이지만 음성적으로 유사한 의도 쌍인 'IncreaseBrightness'와 'DecreaseBrightness'에 대해 오진 양성률을 베이스라인의 0.25에서 0.11로 감소시킨다.
• t-SNE 시각화 결과, 트리플릿 손실을 사용한 CMLS 모델의 음성 임베딩은 의도 클래스별로 더 단단하고 잘 분리된 군집을 형성함으로써 내부 클래스 분산이 낮음을 시사한다.
• 대부분의 학습은 베이스라인 대비 성능 향상을 보였지만 트리플릿 손실을 초월하지 못했으며, 이는 이 설정에서 명시적 손실 기반 정렬이 디스크림이너 기반 정렬보다 더 효과적임을 시사한다.
• 결과는 트리플릿 손실이 특히 음성적으로 유사하지만 의미적으로 반대되는 오프타겟 인스턴스의 의미적 차이를 더 잘 포착함을 시사한다.