[論文レビュー] DSTC8-AVSD: Multimodal Semantic Transformer Network with Retrieval Style Word Generator

Hwanhee Lee, Seunghyun Yoon+4 more|arXiv (Cornell University)|Apr 1, 2020

Multimodal Machine Learning Applications参考文献 16被引用数 14

ひとこと要約

本稿では、音声視覚的シーン認識対話（AVSD）のためのマルチモーダル意味的トランスフォーマー・ネットワーク（MSTN）を提案する。標準の線形デコーダ出力層に代えて、語の意味に注目するリtrievalスタイルの単語埋め込み注意機構を導入することで、応答生成における意味的関連性を向上させる。MSTNはDSTC8で先行手法を上回り、BLEU-4、METEOR、ROUGE-L、CIDErの各指標で最先端の結果を達成した。これは、デコード中に語の意味を明示的に注目することで実現された。

ABSTRACT

Audio Visual Scene-aware Dialog (AVSD) is the task of generating a response for a question with a given scene, video, audio, and the history of previous turns in the dialog. Existing systems for this task employ the transformers or recurrent neural network-based architecture with the encoder-decoder framework. Even though these techniques show superior performance for this task, they have significant limitations: the model easily overfits only to memorize the grammatical patterns; the model follows the prior distribution of the vocabularies in a dataset. To alleviate the problems, we propose a Multimodal Semantic Transformer Network. It employs a transformer-based architecture with an attention-based word embedding layer that generates words by querying word embeddings. With this design, our model keeps considering the meaning of the words at the generation stage. The empirical results demonstrate the superiority of our proposed model that outperforms most of the previous works for the AVSD task.

研究の動機と目的

• sequence-to-sequenceモデルのAVSDにおける限界、すなわち文法的パターンや事前分布に過剰適合することを是正するため。
• デコード中に意味に配慮した単語選択を組み込むことで、生成応答の意味的関連性を向上させるため。
• 固定された線形射影に依存するのではなく、意味的埋め込みに基づいて動的に単語をリtrieveするデコーダを設計するため。
• ビデオ、音声、テキスト、対話履歴を統合したマルチモーダルな文脈において、リtrievalスタイルの単語生成器の有効性を評価するため。
• 簡素化されたが効果的なトランスフォーマー基盤アーキテクチャを用いて、DSTC8-AVSDベンチマークで最先端の性能を達成するため。

提案手法

• 本モデルは、テキスト、ビデオ（i3d-flow）、音声（veggs）、対話履歴、キャプションの5つのモダリティを入力とするトランスフォーマー基盤のエンコーダ・デコーダフレームワークを採用する。
• エンコーダは、各モダリティをレイヤーナーミャライゼーション、位置エンコーディング、フィードフォワードネットワークを用いて処理し、モダリティ固有の自己注意機構を備える。
• デコーダは、ターゲット系列に対するマルチヘッド自己注意を実行し、質問をクエリとして、他のモダリティをキー／バリューとして用いた質問に配慮した注意を計算する。
• 標準の線形射影層の代わりに、デコーダの隠れ状態と事前に学習済みの単語埋め込みとの間でドット積スコアを計算する単語埋め込み注意ネットワークを採用する。
• 最終的な単語予測は、ドット積スコアのソフトマックスにより得られ、これにより文脈に対する意味的類似度に基づいた単語選択が可能になる。
• モデルは、学習率スケジューリングのためのウォームアップステップ、ドロップアウト（0.2）、最大デコード長30、ビームサイズ5のビームサーチを用いたエンドツーエンドの学習で訓練される。

実験結果

リサーチクエスチョン

• RQ1 標準の線形デコーダ出力層をリtrievalスタイルの単語生成器に置き換えることで、AVSDの応答生成における意味的関連性が向上するか？
• RQ2 デコード中に単語埋め込みに注目することで、AVSDモデルにおける文法的パターンや事前分布への記憶の低減が可能か？
• RQ3 提案されたマルチモーダル意味的トランスフォーマー・ネットワーク（MSTN）は、DSTC8-AVSDベンチマークで既存の最先端モデルと比較してどうなるか？
• RQ4 リtrievalスタイルの単語生成器は、マルチモーダル対話生成における性能向上にどの程度寄与しているか？
• RQ5 自己符号化器損失を用いない、注意機構に基づく単語生成を有する簡素化されたトランスフォーマー・アーキテクチャは、MTNのようなより複雑なモデルを上回ることができるか？

主な発見

• 提案されたMSTNモデルは、DSTC8-AVSDベンチマークで最先端の性能を達成し、MTN や Student-Teacher モデルを含むすべてのベースラインモデルを上回った。
• DSTC8（6つのリファレンス）テストセットにおいて、MSTNはBLEU-4が0.385、METEORが0.270、ROUGE-Lが0.564、CIDErが1.073を達成し、次に良いモデルと比べて顕著な優位性を示した。
• アブレーションスタディの結果、リtrievalスタイルの単語生成器を削除した場合（MSTN w/o WEAN）は性能が低下し、その貢献度が明確に確認された（例：DSTC8におけるBLEU-4は0.385から0.367に低下）。
• 複数の指標にわたる高い性能を維持しており、生成応答の意味的整合性と文の流れの自然さが向上していることが示された。
• GloVeのような事前学習済み埋め込みがなくても、モデルは良好な性能を発揮した。これは、注意機構を通じて学習された単語埋め込みが十分に効果的であることを示している。
• 結果から、注意に基づく単語生成がデコード段階での意味理解を顕著に向上させ、記憶されたパターンへの依存を低減することが明らかになった。