[論文レビュー] Speech-Based Visual Question Answering

Ted Zhang, Dengxin Dai+3 more|arXiv (Cornell University)|May 1, 2017

Multimodal Machine Learning Applications参考文献 30被引用数 15

ひとこと要約

本稿では、音声ベースの視覚的質問応答（VQA）を導入し、音声波形を直接処理するエンド・ツー・エンドの深層ニューラルネットワークと、ASRを経由したテキストベースのVQAへのパイプライン手法を提案する。パイプライン手法に比べて性能は低いが、ノイズに強く、低リソース言語に対しても実現可能性を示しており、著者らは合成音声200時間分と実際の人の発話1時間分の音声VQAデータセットを公開している。

ABSTRACT

This paper introduces speech-based visual question answering (VQA), the task of generating an answer given an image and a spoken question. Two methods are studied: an end-to-end, deep neural network that directly uses audio waveforms as input versus a pipelined approach that performs ASR (Automatic Speech Recognition) on the question, followed by text-based visual question answering. Furthermore, we investigate the robustness of both methods by injecting various levels of noise into the spoken question and find both methods to be tolerate noise at similar levels.

研究の動機と目的

• spoken questions を使用した視覚的質問応答の実現可能性を検討すること。
• エンド・ツー・エンドの音声から回答へのモデリングと、パイプライン型のASRベースのアプローチを比較すること。
• 背景ノイズのレベルを変化させた条件下での両手法の耐性を評価すること。
• 公開用に新しい音声ベースのVQAデータセットをリリースすること。合成音声と実際の人の発話音声を含む。
• 特にゼロショットおよびノイズ環境下での、音声専用モデルとテキストベースモデルの性能差を調査すること。

提案手法

• 原始的な音声波形を直接回答にマッピングするエンド・ツー・エンドの深層ニューラルネットワークを訓練する。中間の音声認識は経由しない。
• パイプライン型手法では、まずASRにより発話された質問を文字起こし、その後得られたテキストを標準的なテキストベースのVQAモデルに供給する。
• 音声入力を、時間的および周波数的特徴を抽出するためのCNNとRNNアーキテクチャで処理する。
• テキストベースのVQAモデルは、質問と関連する画像領域を一致させるためにスタックドアテンション機構を用いる。
• 両モデルは、VQA 1.0データセットから派生させた新規に作成された音声ベースのVQAデータセット上で訓練される。合成音声と実際の人の発話音声を含む。
• 両手法の耐性評価のため、音声にさまざまなSNR（信号対雑音比）のノイズを注入する。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドの音声から回答へのモデルは、パイプライン型ASRベースのVQAシステムに比べてどのように性能を示すか？
• RQ2 両手法は、発話された質問における背景ノイズの増加に伴ってどのように性能を示すか？
• RQ3 合成音声で訓練されたモデルと、実際の人の発話音声でテストされたモデルとの間の性能差は何か？
• RQ4 ゼロショット一般化において、音声専用アプローチとテキストベースアプローチの違いは何か？
• RQ5 低リソース言語環境において、エンド・ツー・エンドの音声モデリングはASRの代替手段として実用的か？

主な発見

• パイプライン型ASRベースの手法（TextMod）は、合成音声および実際の人の発話音声の両方でエンド・ツー・エンド音声モデル（SpeechMod）を上回り、元のテキストでは53.09%、発話音声では41.66%の正答率を達成した。
• SpeechModは合成音声では42.69%の正答率を達成したが、実際の人の発話音声ではたった21.46%にとどまり、自然な発話の変動に対する一般化能力が著しく低いことが示された。
• 両手法ともノイズ環境下で同程度の性能低下を示し、ノイズが増加するに従い類似したレベルで正答率が低下した。これは、両手法が同等の耐性を持つことを示している。
• ゼロショット性能の低下幅は、SpeechMod（7%低下）がTextMod（4%低下）よりも大きいことから、テキストベースモデルの方が未知語に対してより良好に一般化していることがわかる。
• 合成音声と実際の人の発話音声のスペクトログラムには顕著な差が認められ、これはSpeechModが実際の発話音声で性能が低い理由（音声シグネイチャの不一致）を説明している。
• 著者らは、今後の音声と視覚の統合研究を支援するため、合計211時間分（合成200時間、実際1時間）の音声VQAデータセットをリリースした。