[論文レビュー] Self-Segregating and Coordinated-Segregating Transformer for Focused Deep Multi-Modular Network for Visual Question Answering

Chiranjib Sur|arXiv (Cornell University)|Jun 25, 2020

Multimodal Machine Learning Applications参考文献 25被引用数 7

ひとこと要約

本稿では、視覚的および言語的特徴を知的にフィルタリングして優先順位を付けることで、注目メカニズムを強化する、新しい自己分離および協調的分離トランスフォーマー（SST-CST）アーキテクチャを提案する。コンテンツベースの分離戦略として、言語特徴のための自己分離と、画像特徴のための協調的分離を導入することで、注目ノイズを低減し、推論の多様性を向上させ、VQA-v2ベンチマークで最先端の性能を達成した。従来手法に比べて正確性が最大2.5%向上した。

ABSTRACT

Attention mechanism has gained huge popularity due to its effectiveness in achieving high accuracy in different domains. But attention is opportunistic and is not justified by the content or usability of the content. Transformer like structure creates all/any possible attention(s). We define segregating strategies that can prioritize the contents for the applications for enhancement of performance. We defined two strategies: Self-Segregating Transformer (SST) and Coordinated-Segregating Transformer (CST) and used it to solve visual question answering application. Self-segregation strategy for attention contributes in better understanding and filtering the information that can be most helpful for answering the question and create diversity of visual-reasoning for attention. This work can easily be used in many other applications that involve repetition and multiple frames of features and would reduce the commonality of the attentions to a great extent. Visual Question Answering (VQA) requires understanding and coordination of both images and textual interpretations. Experiments demonstrate that segregation strategies for cascaded multi-head transformer attention outperforms many previous works and achieved considerable improvement for VQA-v2 dataset benchmark.

研究の動機と目的

• 標準トランスフォーマーが無差別な注目に依存することで、マルチモodalなVQAにおいて特徴の冗長性とノイズが生じる問題に対処する。
• 分離戦略を通じて、画像および言語特徴のうち最も関連性の高いものを特定・優先することで、視覚的推論を向上させる。
• 特にマルチフレームおよびマルチヘッド注目設定において、不要または重複する特徴の影響を低減する。
• 標準的およびエンコード済みの注目ベースラインを上回る、構造的でコンテンツ駆動の注目メカニズムを導入することで、VQA-v2における性能を向上させる。
• 繰り返しまたは密集した特徴表現を含むマルチモーダルタスクにおける特徴選択の一般化可能なフレームワークを提供する。

提案手法

• 言語埋め込みにコンテンツベースの注目分離を適用する自己分離トランスフォーマー（SST）を提案し、意味的に関連する特徴を特定・優先する。
• 画像領域と言語トークンの間で統合的分離を適用する協調的分離トランスフォーマー（CST）を導入し、別々の埋め込みベース分離ヘッド（ESeTおよびCSeT）を用いる。
• 二段階の注目メカニズムを採用する：まず、ESeT（埋め込みベース分離）またはCSeT（協調的分離）を用いて特徴を分離し、その後融合して推論に用いる。
• 個々の領域との整合性を高めるために、画像全体のエンコーディング（$enc(\text{Image})$）よりも、領域画像特徴の重み付き平均（$\overline{\text{Image}}$）をより効果的な表現として用いる。
• 深層トランスフォーマーエンコーダーの中間層に分離を適用することで、融合の前に高価値特徴の選択的伝搬を可能にする。
• VQA-v2およびVisual Genomeで、[22]のトランスフォーマーベースラインの改変版を基盤として、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 コンテンツベースの注目特徴分離は、視覚的質問応答における推論性能を向上させることができるか？
• RQ2 言語特徴の自己分離と、言語と画像特徴の間の協調的分離の間で、正確性および頑健性の観点から、どちらが優れているか？
• RQ3 注目計算の前に行う特徴分離は、注目ノイズを低減し、特徴表現の質を向上させるか？
• RQ4 スケーラビリティや一般化性能に悪影響を及げることなく、分離戦略を深層マルチヘッド注目トランスフォーマーに効果的に統合できるか？
• RQ5 特徴表現の選択（例：$\overline{\text{Image}}$ と $enc(\text{Image})$）は、分離の有効性および下流性能にどのように影響するか？

主な発見

• 画像表現として $\overline{\text{Image}}$ を用いた自己分離トランスフォーマー（SST）は、VQA-v2検証セットでトップ1正確性66.72%を達成し、ベースラインを上回った。
• CSeT（協調的分離）を用いた協調的分離トランスフォーマー（CST）も66.72%の正確性を達成し、ESeT（埋め込みベース分離）に比べて、協調的特徴分離がより効果的であることを示した。
• $\overline{\text{Image}}$ を画像表現として用いることで、$enc(\text{Image})$ よりも著しく優れた結果が得られ、領域特徴との整合性が高く、特徴空間の定義が改善されたためである。
• 提案された分離戦略により、注目ノイズが低減し、推論の多様性が向上し、VQA-v2のテストデブセットでベースラインモデルに比べて2.5%の正確性向上が達成された。
• 本モデルは、VQA-v2で最先端の性能を達成し、検証セットで66.72%、テストデブセットで66.72%の正確性を報告した。同じコードベースで、以前の手法を上回った。
• アブレーションスタディにより、特徴分離に基づく推論が、特徴の隣接性と表現が悪いという問題を抱える従来のエンコードベースの視覚的推論を上回ることが確認された。