[論文レビュー] Semantic speech retrieval with a visually grounded model of untranscribed speech

Herman Kamper, Gregory Shakhnarovich+1 more|arXiv (Cornell University)|Oct 5, 2017

Multimodal Machine Learning Applications参考文献 124被引用数 49

ひとこと要約

本論文は、音声と画像のペアを用いて、音声の翻訳なしに意味的表現を学習する視覚的根拠付けられたニューラルモデルを提案する。事前学習済みの画像タグジェネレータを用いて、学習用にソフトテキストラベルを生成する。翻訳なしの条件下でも、トップ10の意味的音声検索において58.8%の精度を達成し、語句の完全一致に依存しない意味的一致の検索において、翻訳に基づく教師ありモデルを上回る性能を示し、低リソース環境における意味的理解のための視覚的文脈の価値を示している。

ABSTRACT

There is growing interest in models that can learn from unlabelled speech paired with visual context. This setting is relevant for low-resource speech processing, robotics, and human language acquisition research. Here we study how a visually grounded speech model, trained on images of scenes paired with spoken captions, captures aspects of semantics. We use an external image tagger to generate soft text labels from images, which serve as targets for a neural model that maps untranscribed speech to (semantic) keyword labels. We introduce a newly collected data set of human semantic relevance judgements and an associated task, semantic speech retrieval, where the goal is to search for spoken utterances that are semantically relevant to a given text query. Without seeing any text, the model trained on parallel speech and images achieves a precision of almost 60% on its top ten semantic retrievals. Compared to a supervised model trained on transcriptions, our model matches human judgements better by some measures, especially in retrieving non-verbatim semantic matches. We perform an extensive analysis of the model and its resulting representations.

研究の動機と目的

• 視覚的文脈が、特に低リソース環境下で、未翻訳音声における意味的理解を効果的に根拠づけることができるかどうかを調査すること。
• 画像から得られるソフトラベルを用いて、未翻訳音声を意味的キーワードラベルにマッピングする手法を開発すること。
• 正確なキーワード一致を超えた意味的関連性に基づいて定義される、意味的音声検索タスクにおけるモデルの性能を評価すること。
• 話された発話文に対する人間による意味的関連性の判断を収集・公開する新しいデータセットを構築すること。
• 翻訳文に基づいて学習した教師ありモデルと比較し、意味的一般化の観点から視覚的根拠付けられたモデルの性能を評価すること。

提案手法

• 事前学習済みの画像タッパーが、訓練用画像からソフトテキストラベル（例：'person'、'dog'）を生成し、音声モデリングの弱い教師信号として機能する。
• ニューラルネットワークが、ソフト画像ラベルとの交差エントロピー損失を最小化することで、未翻訳音声を予測キーワードラベルにマッピングする。
• 音声と画像由来のラベルが統合された埋め込み空間で、エンドツーエンドに学習される。
• 本モデルは、語句の完全一致がなくても、意味的に関連する発話文を検索できる新しい意味的音声検索タスクで評価される。
• 複数のベースラインと比較される。これには、真値の翻訳文を用いた教師ありモデルと、ASRと意味的モデルを段階的に組み合わせたモデルが含まれる。
• t-SNE可視化を用いて、学習された音声表現の分析と意味的クラスタリングの評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 翻訳なしの音声と画像で学習したモデルは、テキストの教師信号なしに、意味的に関連する発話文を検索できるか？
• RQ2 語句の完全一致に依存しない意味的一致の検索において、視覚的根拠付けられたモデルの性能は、翻訳文で学習した教師ありモデルと比べてどうか？
• RQ3 学習された音声表現が、'man' と 'person' のような意味的に関連する語をどの程度正しくクラスタリングできるか？
• RQ4 人間によるソフト関連性スコアと比較して、モデルの予測が、翻訳に基づく教師ありモデルよりも人間の判断に近いか？
• RQ5 ASRの誤り率が50%に達しても、視覚的根拠付けられたモデルは、ASR＋意味的モデルの段階的アプローチと比べて、どの程度頑健か？

主な発見

• 視覚的根拠付けられたモデルは、翻訳文を一度も見ることなく、トップ10の意味的検索で58.8%の精度を達成した。
• 語句の完全一致に依存しない意味的一致の検索において、モデルは翻訳に基づく教師ありモデルを上回り、25.3%の正しい意味的予測を達成したのに対し、完全一致は22.3%であった。
• モデルの予測は、人間によるソフト関連性スコア（Spearmanのρ = 32.4）と、教師ありモデル（ρ = 31.6）よりも強く相関しており、特に意味的一致の部分で顕著であった。
• ASR誤り率が50%に達しても、視覚的根拠付けられたモデル（VISIONSPEECHCNN）は、P@10やSpearmanのρを含むほとんどの指標で、段階的ASR＋意味的モデルを上回った。
• t-SNE可視化により、モデルが意味的に意味のある表現を学習していることが確認され、'bike'、'rides'、'riding' のような関連語が類似したクラスタにグループ化されていた。
• 人間による柔らかく関連性のあるスコアと比較して、モデルの性能は自動テキストベースのモデル（例：TEXTPARAGRAM）を上回っており、人間の判断が自動意味的モデルで完全に置き換え可能ではないことを示している。