[논문 리뷰] Semantic speech retrieval with a visually grounded model of untranscribed speech

Herman Kamper, Gregory Shakhnarovich외 1명|arXiv (Cornell University)|2017. 10. 05.

Multimodal Machine Learning Applications참고 문헌 124인용 수 49

한 줄 요약

이 논문은 이미지와 함께 비음성화된 음성 데이터를 사용하여 소프트 텍스트 레이블을 생성하는 사전 훈련된 이미지 태거를 활용해, 음성의 의미적 표현을 학습하는 시각적으로 기반을 둔 신경망 모델을 제안한다. 음성의 전사가 전혀 없이도, 모델은 상위 10개의 의미적 음성 검색에서 58.8%의 정밀도를 달성하며, 정확한 단어 일치가 아닌 의미적 일치를 검색하는 데서 감독 학습 기반 전사 모델을 능가한다. 이는 저자원 환경에서 의미적 이해를 위한 시각적 맥락의 가치를 입증한다.

ABSTRACT

There is growing interest in models that can learn from unlabelled speech paired with visual context. This setting is relevant for low-resource speech processing, robotics, and human language acquisition research. Here we study how a visually grounded speech model, trained on images of scenes paired with spoken captions, captures aspects of semantics. We use an external image tagger to generate soft text labels from images, which serve as targets for a neural model that maps untranscribed speech to (semantic) keyword labels. We introduce a newly collected data set of human semantic relevance judgements and an associated task, semantic speech retrieval, where the goal is to search for spoken utterances that are semantically relevant to a given text query. Without seeing any text, the model trained on parallel speech and images achieves a precision of almost 60% on its top ten semantic retrievals. Compared to a supervised model trained on transcriptions, our model matches human judgements better by some measures, especially in retrieving non-verbatim semantic matches. We perform an extensive analysis of the model and its resulting representations.

연구 동기 및 목표

• 비음성화된 음성에서 시각적 맥락이 의미적 이해를 효과적으로 기반으로 삼을 수 있는지, 특히 저자원 환경에서 검토하는 것.
• 이미지에서 유도된 소프트 레이블을 사용해 비음성화된 음성을 의미적 키워드 레이블로 매핑하는 방법을 개발하는 것.
• 정확한 키워드 일치를 초월해 의미적 유사성 기반으로 관련성을 정의하는 의미적 음성 검색 작업에서 모델 성능을 평가하는 것.
• 말한 문장에 대한 인간이 평가한 의미적 관련성 평가를 수집하고 공개하는 새로운 데이터셋을 구축하는 것.
• 전사 기반 감독 모델과 비교하여, 의미적 일반화 능력을 중심으로 시각적으로 기반을 둔 모델의 성능을 평가하는 것.

제안 방법

• 사전 훈련된 이미지 태거가 훈련 이미지에서 소프트 텍스트 레이블(예: '사람', '개')을 생성하여 음성 모델링에 약한 지도 학습을 제공한다.
• 신경망이 소프트 이미지 레이블에 대한 교차 엔트로피 손실을 최소화함으로써 비음성화된 음성을 예측된 키워드 레이블로 매핑한다.
• 음성과 이미지에서 유도된 레이블이 정렬된 통합 임베딩 공간에서 엔드 투 엔드로 훈련되는 모델이다.
• 모델은 음성과 문장 간의 정확한 단어 일치 없이도 의미적으로 관련된 음성 문장을 검색할 수 있는 새로운 의미적 음성 검색 작업에서 평가된다.
• 기준 모델로는 지문 전사 기반 감독 모델과 ASR + 의미 모델을 연결한 모델을 비교한다.
• 학습된 음성 표현의 분석과 의미 클러스터링 평가를 위해 t-SNE 시각화를 사용한다.

실험 결과

연구 질문

• RQ1 비음성화된 음성과 이미지를 기반으로 훈련된 모델이 텍스트 지도 없이도 의미적으로 관련된 문장을 검색할 수 있는가?
• RQ2 비음성화된 음성에서 의미적 유사성에 기반한 검색에서, 시각적으로 기반을 둔 모델의 성능이 전사 기반 감독 모델보다 어떻게 비교되는가?
• RQ3 학습된 음성 표현이 '남자'와 '사람'과 같이 의미적으로 관련된 단어들을 얼마나 잘 클러스터링하는가?
• RQ4 모델의 예측이 감독 전사 기반 모델보다 인간 평가 기반 소프트 관련성 점수와 더 잘 일치하는가?
• RQ5 ASR 정확도가 떨어질 경우, 시각적으로 기반을 둔 모델은 ASR + 의미 모델의 계열적 모델에 비해 얼마나 견고한가?

주요 결과

• 시각적으로 기반을 둔 모델은 전사 데이터를 한 번도 보지 못한 채 상위 10개 의미적 검색에서 58.8%의 정밀도를 달성한다.
• 정확한 일치가 아닌 의미적 일치를 검색하는 데서, 시각적으로 기반을 둔 모델이 감독 전사 기반 모델을 능가하며, 의미적 예측 정확도는 25.3%로, 정확한 일치의 22.3%를 상회한다.
• 모델의 예측은 인간 평가 기반 소프트 관련성 점수와 더 강한 상관관계를 보이며(Spearman’s ρ = 32.4), 감독 모델보다 의미적 일치에서 더 높은 상관관계를 보인다(ρ = 31.6).
• ASR 오류율이 50%에 도달할지라도, 시각적으로 기반을 둔 모델(VISIONSPEECHCNN)은 대부분의 지표, 특히 P@10과 Spearman’s ρ에서 계열적 ASR + 의미 모델을 능가한다.
• t-SNE 시각화 결과는 모델이 의미적으로 유의미한 표현을 학습하고 있음을 확인하며, '자전거', '타는', '타는'과 같은 유사어들이 유사한 클러스터로 묶이는 것을 확인할 수 있다.
• 소프트 인간 평가 기반 평가에서, 자동 텍스트 기반 모델(예: TEXTPARAGRAM)보다 모델의 성능이 뛰어나, 인간의 판단이 자동 의미 모델로 완전히 대체될 수 없음을 시사한다.