[논문 리뷰] Fast-Slow Transformer for Visually Grounding Speech

Puyuan Peng, David Harwath|arXiv (Cornell University)|2021. 09. 16.

Speech and Audio Processing인용 수 7

한 줄 요약

FaST-VGS는 이중 인코더 및 교차 주의 아키텍처를 하나의 프레임워크로 통합하여 빠른 거친 검색과 정확한 세분화된 검색을 모두 가능하게 하는 새로운 트랜스포머 기반 모델이다. 이는 FACC, SpokenCOCO, Places Audio 벤치마크에서 최신 기술 수준의 성능을 달성하며, ZeroSpeech 2021 챌린지에서 음소 및 의미 작업으로의 강력한 제로샷 전이 성능을 보여준다.

ABSTRACT

We present Fast-Slow Transformer for Visually Grounding Speech, or FaST-VGS. FaST-VGS is a Transformer-based model for learning the associations between raw speech waveforms and visual images. The model unifies dual-encoder and cross-attention architectures into a single model, reaping the superior retrieval speed of the former along with the accuracy of the latter. FaST-VGS achieves state-of-the-art speech-image retrieval accuracy on benchmark datasets, and its learned representations exhibit strong performance on the ZeroSpeech 2021 phonetic and semantic tasks.

연구 동기 및 목표

• 시각 기반 음성 검색을 위한 통합적이고 효율적이며 정확한 모델 개발.
• 음성-이미지 검색 시스템과 텍스트-이미지 검색 시스템 간의 성능 격차 해소.
• 시각적 지도 하에 학습된 자기지도 학습 음성 표현에 포함된 언어 정보 분석.
• 거친 검색에서부터 정밀한 검색까지 하나의 아키텍처로 수행 가능한 거친-세밀한 추론을 통한 빠르고 정확한 검색 지원.

제안 방법

• 모델는 컨볼루션 레이어와 트랜스포머를 기반으로 한 별도의 음성 및 이미지 인코더를 갖춘 이중 브랜치 아키텍처를 사용한다.
• 음성 특징은 이중 단계 트랜스포머 스택을 거쳐 처리되며, 고해상도 특징은 다운샘플링되고 재인코딩되어 의미적 추상화를 달성한다.
• 거친 유사도 계산을 위해 도트 곱을 통해 전체 음성 및 이미지 시퀀스를 나타내는 CLS 토큰을 사용한다.
• 세분화된 유사도는 양방향 모odal 간의 주의를 동시에 수행하는 교차 모odal 트랜스포머를 사용해 계산된다.
• 거친 및 세분화된 유사도 점수는 공유된 표현에서 유도되며, 이는 통합된 훈련 및 추론을 가능하게 한다.
• 거친-세밀한 검색 방식을 동시에 최적화하기 위해 거친-세밀한(CTF) 훈련 전략을 사용한다.

Fig. 1 : Architecture of the FaST-VGS model.

실험 결과

연구 질문

• RQ1 통합된 트랜스포머 모델이 빠르고 정확한 음성-이미지 검색을 동시에 달성할 수 있는가?
• RQ2 시각적 지도 하에 학습된 자기지도 학습 음성 표현이 음소 및 의미적 구조를 얼마나 잘 포괄하는가?
• RQ3 이 모델이 벤치마크 음성-이미지 검색 데이터셋에서 이전 방법을 능가하는가?
• RQ4 이 모델이 음소 및 의미 작업에서 제로샷 평가로 일반화 가능한가?

주요 결과

• Fine-tuning을 통해 SpokenCOCO에서 R@10이 83.7%로 최신 기술 수준에 도달했으며, FACC에서는 89.5%를 기록했다.
• FACC에서 SpokenCOCO로 훈련한 후 FACC에서 미세조정한 경우, 더 적은 데이터를 사용함에도 불구하고 이전 SOTA인 MILAN을 능가했다.
• ZeroSpeech 2021 의미 작업에서 FaST-VGS는 Librispeech에서 23.55점의 점수를 기록하여 베이스라인(15.09점)을 크게 능가했다.
• ABX 음소 작업에서 FaST-VGS는 네 가지 평가 전반에서 고비용의 VG 기반 베이스라인을 능가했지만, 최고의 비-VG 모델에는 뒤지지 않았다.
• FACC에서 이미지-음성 검색의 R@10은 79.9%로, SpokenCOCO에서는 87.0%로 나타나 강력한 교차 주의 성능를 입증했다.