[論文レビュー] Talk, Don't Write: A Study of Direct Speech-Based Image Retrieval

Ramon Sanabria, Austin Waters+1 more|arXiv (Cornell University)|Apr 5, 2021

Multimodal Machine Learning Applications参考文献 36被引用数 6

ひとこと要約

本論文は、自己教師付き音声表現を用いたデュアルエンコーダー構造を採用した直接音声ベースの画像検索手法を提案し、Flickr Audio（+11.4% R@1）およびPlaces Audio（+25.8% R@1）で最先端の性能を達成した。エンド・トゥ・エンドの音声符号化が、発音のずれや即興的な発話においても、音声認識（ASR）に基づくテキスト符号化を上回ることを示した。これは、文字起こしエラーを回避し、合成音声データを用いた強力な事前学習を活用することで実現された。

ABSTRACT

Speech-based image retrieval has been studied as a proxy for joint representation learning, usually without emphasis on retrieval itself. As such, it is unclear how well speech-based retrieval can work in practice -- both in an absolute sense and versus alternative strategies that combine automatic speech recognition (ASR) with strong text encoders. In this work, we extensively study and expand choices of encoder architectures, training methodology (including unimodal and multimodal pretraining), and other factors. Our experiments cover different types of speech in three datasets: Flickr Audio, Places Audio, and Localized Narratives. Our best model configuration achieves large gains over state of the art, e.g., pushing recall-at-one from 21.8% to 33.2% for Flickr Audio and 27.6% to 53.4% for Places Audio. We also show our best speech-based models can match or exceed cascaded ASR-to-text encoding when speech is spontaneous, accented, or otherwise hard to automatically transcribe.

研究の動機と目的

• 直接音声ベースの画像検索の実用的有効性を、ASRベースのテキスト検索戦略と比較して評価すること。
• 異なる音声および画像エンコーダー構造、事前学習手法、音声表現が検索性能に与える影響を調査すること。
• 低リソースまたはノイズの多い音声状況下でも、エンド・トゥ・エンドの音声符号化が段階的ASR + テキスト符号化を上回るかどうかを特定すること。
• 以前に報告のなかったベンチマークであるLocalized Narrativesデータセットにおける、音声-画像検索の強力なベースラインを確立すること。
• 再現可能性およびマルチモodal表現学習への再利用を目的として、モデル（Milan）をオープンソース化すること。

提案手法

• 音声および画像モダリティのそれぞれに別個で学習可能なエンコーダーを持つデュアルエンコーダー構造を採用し、各モダリティを固定長のベクトルに埋め込む。
• 音声エンコーダーの入力として自己教師付き音声表現（例：CPC-8k、wav2vec）を採用し、ASRの文字起こしに依存しない。
• 実データセットへの微調整の前に、音声と画像表現を一致させるために、合成された話されたキャプション（Conceptual Spoken Captions）を用いたマルチモーダル事前学習を実施。
• 一般化を向上させるために、画像タワーにはImageNet、テキストタワーにはConceptual Captionsをそれぞれ用いた強力な事前学習を実施。
• 正例の画像-音声ペアを近づけ、負例ペアを遠ざける対照的学習と対照的損失関数を用いてモデルを訓練。
• 標準的な検索メトリクス、特に再帰率@1（R@1）を用いて、音声特性が異なる3つのデータセットで性能を評価。

実験結果

リサーチクエスチョン

• RQ1 低品質または発音のずれのある音声において、直接音声符号化が段階的ASR + テキスト符号化を上回るか？
• RQ2 異なる音声表現手法（例：MFCC、wav2vec、CPC）が、多様な音声ドメインにおいて検索性能に与える影響は？
• RQ3 合成音声（例：米国英語TTS）で事前学習した場合、異なる発音（例：インド英語）を含む実世界データセットへの微調整で性能が低下するか？
• RQ4 モデル容量、バッチサイズ、事前学習戦略が、データセットのサイズや音声品質の異なる環境下で検索性能に与える影響は？
• RQ5 統一的でエンド・トゥ・エンドの音声エンコーダーは、以前に報告のなかったベンチマーク（例：Localized Narratives）で最先端の結果を達成できるか？

主な発見

• 最良のモデル設定では、Flickr AudioでR@1が33.2%に達し、以前の最先端（21.8%）より11.4ポイント向上した。
• Places AudioではR@1が53.4%に達し、以前のSOTA（27.6%）より25.8ポイント向上した。
• Localized Narrativesデータセットでは、音声-画像検索において初めて報告された結果を達成し、Places Audioで53.4%、Flickr Audioで33.2%のR@1を達成した。
• LocNarr（インド英語、低品質ASR）において、直接音声符号化がASR + テキスト符号化を上回り、発音のずれや不自然な発話に対しても頑健であることを示した。
• PlacesAudio（米国英語、高品質ASR）ではASRベースの性能と同等であったが、LocNarrではASRベースを上回った。
• 合成米国英語音声で事前学習した場合、インド英語音声（LocNarr）では性能が低下し、合成データにおけるドメインシフトの問題が顕在化した。