[論文レビュー] Context, Attention and Audio Feature Explorations for Audio Visual Scene-Aware Dialog

Shachi H Kumar, Eda Okur+4 more|arXiv (Cornell University)|Dec 20, 2018

Multimodal Machine Learning Applications参考文献 18被引用数 9

ひとこと要約

本稿では、トピックモデリング、対話履歴におけるマルチヘッドアテンション、およびAclNetによるエンド・トゥ・エンド音声分類を用いて文脈理解を向上させるエンド・トゥ・エンドの音声・視覚的シーン認識対話システムを提案する。複数の指標においてベースラインを上回る性能を示し、特に音声関連の質問応答において顕著な向上を達成している。AclNet特徴量は、一般および音声固有の評価の両方でVGGishを上回った。

ABSTRACT

With the recent advancements in AI, Intelligent Virtual Assistants (IVA) have become a ubiquitous part of every home. Going forward, we are witnessing a confluence of vision, speech and dialog system technologies that are enabling the IVAs to learn audio-visual groundings of utterances and have conversations with users about the objects, activities and events surrounding them. As a part of the 7th Dialog System Technology Challenges (DSTC7), for Audio Visual Scene-Aware Dialog (AVSD) track, We explore `topics' of the dialog as an important contextual feature into the architecture along with explorations around multimodal Attention. We also incorporate an end-to-end audio classification ConvNet, AclNet, into our models. We present detailed analysis of the experiments and show that some of our model variations outperform the baseline system presented for this task.

研究の動機と目的

• 対話トピックモデリングを組み込むことで、音声・視覚的シーン認識対話システムにおける文脈認識を向上させること。
• 対話履歴およびマルチモーダル特徴量を用いたマルチヘッドアテンションを適用することで、応答生成を強化すること。
• より良い音声理解を実現するため、AclNetを用いたエンド・トゥ・エンド音声特徴抽出を検討すること。
• 文脈的およびマルチモーダル特徴量の影響が応答品質および二値回答予測に与える影響を評価すること。
• AclNetとVGGishの音声特徴量の性能を、音声関連の対話ターンにおいて比較すること。

提案手法

• シードワードを用いて対話履歴および質問のトピックモデリングを実施し、潜在的な会話トピックを同定する。
• 対話履歴LSTMの隠れ状態にマルチヘッドアテンションを適用し、関連する過去の発話に選択的に注目できるようにする。
• AclNet（50クラスのエンド・トゥ・エンド音声分類畳み込みニューラルネットワーク）を用いて、生の音声特徴量から音声埋め込みを抽出する。
• アテンション機構を対話履歴状態およびマルチモーダル音声／映像特徴量に同時に適用する。
• トピック表現、対話履歴状態、音声特徴量を統合的に扱える統一されたエンコーダ・デコーダフレームワークに統合し、クロスアテンションを導入する。
• 二値回答評価を用いて、特に音声関連の質問に対するモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 シードワードに基づくトピックモデリングは、音声・視覚的対話システムにおける文脈理解を向上させることができるか？
• RQ2 最終LSTM状態に依存するのではなく、対話履歴の複数の隠れ状態に対するアテンションは、応答生成を向上させることができるか？
• RQ3 AclNetによるエンド・トゥ・エンド音声分類は、VGGishのような従来の音声埋め込み量を上回ることができるか？
• RQ4 履歴状態のみへのアテンションと、履歴状態および音声特徴量へのアテンションの違いが、応答品質および回答精度に与える影響は何か？
• RQ5 音声固有の特徴量を組み込むことで、ベースラインモデルに比べて音声関連の質問に対してより高い性能が得られるか？

主な発見

• 対話履歴LSTMのすべての隠れ状態に対するアテンションを適用したモデルは、BLEU3、BLEU4、METEOR、CIDEr、ROUGEスコアにおいてベースラインを上回った。
• 履歴状態とマルチモーダル特徴量の両方に対するアテンションを適用した設定では、CIDErスコアが向上したが、二値回答評価では履歴のみのアテンションバージョンに比べてわずかに性能が低下した。
• AclNet特徴量は、すべての評価指標でベースラインを上回り、音声関連の質問サブセットではVGGishを上回った。
• 定性的な分析から、B+AclNetは「動画に音声はありますか？」という質問に対して正しく答えられていたが、B+VGGishは失敗していた。また、「くしゃみ」のような微細な音声イベントの捉え方も優れていた。
• シードワードを用いたトピックモデリングは、ベースラインに比べ全体的な性能向上を示し、ガイド付きトピックモデリングが文脈的根拠を強化することを示した。
• AclNetと履歴状態に対するアテンションを組み合わせたモデルが、特に音声固有のクエリにおいて最高の全体的な性能を達成した。