[論文レビュー] Fast-Slow Transformer for Visually Grounding Speech

Puyuan Peng, David Harwath|arXiv (Cornell University)|Sep 16, 2021

Speech and Audio Processing被引用数 7

ひとこと要約

FaST-VGS は、二重エンコーダーとクロスアテンションアーキテクチャを統合した、視覚的根拠に基づく音声検索のための新しいTransformerベースのモデルであり、高速な粗い検索と高精度な細かい検索を両立する。FACC、SpokenCOCO、Places Audioベンチマークにおいて最先端の性能を達成するとともに、ZeroSpeech 2021チャレンジにおける音声的および意味的タスクへのゼロショット転送性能も顕著である。

ABSTRACT

We present Fast-Slow Transformer for Visually Grounding Speech, or FaST-VGS. FaST-VGS is a Transformer-based model for learning the associations between raw speech waveforms and visual images. The model unifies dual-encoder and cross-attention architectures into a single model, reaping the superior retrieval speed of the former along with the accuracy of the latter. FaST-VGS achieves state-of-the-art speech-image retrieval accuracy on benchmark datasets, and its learned representations exhibit strong performance on the ZeroSpeech 2021 phonetic and semantic tasks.

研究の動機と目的

• 視覚的根拠を用いた音声-画像検索のための統合的で効率的かつ高精度なモデルの開発。
• 音声-画像検索システムとテキスト-画像検索システムの間の性能格差を埋める。
• 視覚的監視から学習された自己教師付き音声表現にエンコードされた言語的情報の性質を調査する。
• 粗い検索から細かい検索への推論を統合した1つのアーキテクチャにより、高速かつ高精度な検索を可能にする。

提案手法

• 畳み込み層とTransformerに基づく別々の音声および画像エンコーダーを持つ二重ブランチアーキテクチャを採用。
• 音声特徴は2段階のTransformerスタックを経由する：高解像度特徴がダウンサンプリングされ、再エンコーディングされて意味的抽象化が行われる。
• コア相似度計算のため、全音声および画像シーケンスを表すCLSトークンがドット積により使用される。
• 細かい相似度は、両モodalを同時に注目するクロスモーダルTransformerを用いて計算される。
• 粗いおよび細かい相似度スコアは共有表現から導出されるため、統合的な学習と推論が可能となる。
• 粗いから細かい検索モードを同時に最適化するため、粗いから細かい（CTF）学習戦略が採用される。

Fig. 1 : Architecture of the FaST-VGS model.

実験結果

リサーチクエスチョン

• RQ1 統合されたTransformerモデルは、高速かつ高精度な音声-画像検索を達成できるか？
• RQ2 視覚的根拠から学習された自己教師付き音声表現は、音声的および意味的構造をどれほど正確に捉えられるか？
• RQ3 ベンチマーク音声-画像検索データセットにおいて、先行手法を上回る性能を示すか？
• RQ4 音声的および意味的タスクにおけるゼロショット評価に一般化可能か？

主な発見

• 微調整を施した場合、SpokenCOCOでR@10が83.7%、FACCで89.5%の最先端性能を達成。
• FACCでは、SpokenCOCOで学習しFACCで微調整した場合、データ量が少ないにもかかわらず、先行SOTAのMILANを上回る性能を示した。
• ZeroSpeech 2021の意味的タスクにおいて、Librispeechで23.55のスコアを達成し、ベースライン（15.09）を顕著に上回った。
• ABX音声的タスクでは、4つの評価すべてで高予算のVGベースラインを上回ったが、最良の非-VGモデルには及ばなかった。
• FACCでは画像から音声への検索でR@10が79.9%、SpokenCOCOでは87.0%を達成し、強力なクロスアテンション性能を示した。