[論文レビュー] OmniNet: A unified architecture for multi-modal multi-task learning

Subhojeet Pramanik, Priyanka Agrawal+1 more|arXiv (Cornell University)|Jul 17, 2019

Multimodal Machine Learning Applications参考文献 41被引用数 13

ひとこと要約

OmniNetは、空間的・時間的キャッシュと注目メカニズムに基づく中央処理を統合することで、テキスト、画像、動画などの多様な入力を対象に、マルチモーダルかつマルチタスク学習を可能にする統合型ニューラルネットワークアーキテクチャを提案する。4つのタスク（品詞タグ付け、画像キャプション生成、VQA、動画アクティビティ認識）を同時に学習する際、性能を維持したままモデルサイズを3倍に圧縮した。また、動画キャプション生成や動画QAといった未学習タスクに対してもゼロショット転送を実現した。

ABSTRACT

Transformer is a popularly used neural network architecture, especially for language understanding. We introduce an extended and unified architecture that can be used for tasks involving a variety of modalities like image, text, videos, etc. We propose a spatio-temporal cache mechanism that enables learning spatial dimension of the input in addition to the hidden states corresponding to the temporal input sequence. The proposed architecture further enables a single model to support tasks with multiple input modalities as well as asynchronous multi-task learning, thus we refer to it as OmniNet. For example, a single instance of OmniNet can concurrently learn to perform the tasks of part-of-speech tagging, image captioning, visual question answering and video activity recognition. We demonstrate that training these four tasks together results in about three times compressed model while retaining the performance in comparison to training them individually. We also show that using this neural network pre-trained on some modalities assists in learning unseen tasks such as video captioning and video question answering. This illustrates the generalization capacity of the self-attention mechanism on the spatio-temporal cache present in OmniNet.

研究の動機と目的

• テキスト、画像、動画などの複数の入力モダリティ（例：テキスト、画像、動画）をネイティブにサポートする単一の統合型ディープラーニングアーキテクチャが不足している問題に対処すること。
• アーキテクチャの再構成なしに、異なる入力モダリティを持つ多様なタスクを同時に学習できる非同期的マルチタスク学習を可能にすること。
• 異なるモダリティ間で学習された共有表現が、動画キャプション生成や動画QAといった未学習タスクに一般化できるかどうかを検討すること。
• タスクおよびモダリティ間でのパラメータ共有を通じて、パラメータ数を削減し、性能に損なわれることなく効率性を向上させること。

提案手法

• OmniNetは、変換器アーキテクチャに基づく中央ニューラルプロセッサ（CNP）を採用しており、複数の周辺ネットワークからの空間的・時間的表現を処理する。
• 各周辺ネットワーク（例：画像、テキスト、動画用）は、そのモダリティ固有の入力を、$ t \times s \times d_{\text{model}} $ の形状を持つ空間的・時間的テンソルにエンコードする。ここで、$ t $, $ s $, および $ d_{\text{model}} $ はそれぞれ時間的次元、空間的次元、モデル次元を表す。
• 空間的・時間的表現を両方保存する、新しい空間的・時間的キャッシュメカニズムを導入し、自己注意機構を用いて両次元にわたる注目を可能にした。
• 動画入力の計算負荷を軽減するために、顕著なフレームや空間的領域に注目するリンクアレイコンponentsを導入した。
• CNPは、全モダリティからの表現を処理・保存する一般化された encode() 関数を用い、その後、複数のタスクの予測を生成するための decode() 関数を実行する。
• 異なる入力モダリティおよび出力形式を持つタスク間でエンドツーエンドの学習を可能にし、共同最適化を実現した。

実験結果

リサーチクエスチョン

• RQ1 単一のニューラルネットワークアーキテクチャが、テキスト、画像、動画などの複数のモダリティおよび複数のタスク間で、効果的に表現を学習・共有できるか。
• RQ2 空間的・時間的キャッシュメカニズムの統合が、マルチモーダルかつマルチタスク学習における性能と効率性を向上させるか。
• RQ3 事前に複数のタスクで学習したモデルが、動画キャプション生成や動画QAといった未学習タスクにどの程度一般化できるか。
• RQ4 タスク間でのパラメータ共有は、個別のモデルを学習するのと比較して、モデルサイズと性能にどのように影響を与えるか。

主な発見

• 品詞タグ付け、画像キャプション生成、視覚的質問応答、動画アクティビティ認識の4つの多様なタスクをOmniNetで同時に学習することで、モデルサイズを約3倍に圧縮しながら、性能を維持またはわずかに向上させた。
• アブレーションスタディの結果、空間キャッシュを削除すると、独立学習時において画像キャプション生成の性能がほぼ完全に崩壊した（BLEU-4が28.9から0に低下）。これは、空間表現に空間キャッシュが果たす重要な役割を示している。
• リンクアレイコンponentsは動画ベースのタスクにおいて最も効果的であった。削除するとHMDBの正確度は55.29%から45.94%に低下し、空間的・時間的複雑性の管理におけるその価値が示された。
• OmniNetは、動画固有のデータでファインチューニングを行わず、画像キャプション生成およびVQAで事前学習した知識を活用することで、動画キャプション生成および動画QAのゼロショット転送を達成した。
• 空間キャッシュやリンクアレイをアブレーションしても、品詞タグ付けの正確度（95.61%）が高く維持された。これは、時間的のみのタスクが空間的または空間的・時間的変更に影響を受けないことを確認している。
• マルチタスク学習において、空間キャッシュをアブレーションしてもキャプションタスクのBLEU-4スコアが11.9ポイント保持された。これは、時間的キャッシュが画像レベルの特徴を保存することで部分的に補完していることを示している。