[論文レビュー] Deep Multimodal Neural Architecture Search

Yu Zhou, Yuhao Cui+4 more|arXiv (Cornell University)|Apr 25, 2020

Multimodal Machine Learning Applications参考文献 71被引用数 9

ひとこと要約

本論文は、微分可能NASを用いて、視覚的質問応答、画像・テキストマッチング、視覚的グランドリングなどの多様なマルチモーダルタスク向けに最適なニューラルアーキテクチャを自動で発見できる一般化された深層マルチモーダルニューラルアーキテクチャ探索（MMnas）フレームワークを提案する。この手法は、統一されたエンコーダ・デコーダバックボーンを用いて、5つのベンチマークデータセットで最先端の性能を達成し、特にオブジェクトカウントとクロスマーダルリtrievalにおいて顕著な向上を示した。

ABSTRACT

Designing effective neural networks is fundamentally important in deep multimodal learning. Most existing works focus on a single task and design neural architectures manually, which are highly task-specific and hard to generalize to different tasks. In this paper, we devise a generalized deep multimodal neural architecture search (MMnas) framework for various multimodal learning tasks. Given multimodal input, we first define a set of primitive operations, and then construct a deep encoder-decoder based unified backbone, where each encoder or decoder block corresponds to an operation searched from a predefined operation pool. On top of the unified backbone, we attach task-specific heads to tackle different multimodal learning tasks. By using a gradient-based NAS algorithm, the optimal architectures for different tasks are learned efficiently. Extensive ablation studies, comprehensive analysis, and comparative experimental results show that the obtained MMnasNet significantly outperforms existing state-of-the-art approaches across three multimodal learning tasks (over five datasets), including visual question answering, image-text matching, and visual grounding.

研究の動機と目的

• マルチモーダル学習におけるタスク固有の手作業によるニューラルアーキテクチャの制限を解消し、自動的なアーキテクチャ探索を可能にすること。
• タスク固有のアーキテクチャ再設計を必要とせず、複数のマルチモーダルタスクに一般化可能な統一されたフレームワークを構築すること。
• ニューラルアーキテクチャ探索を用いてタスク固有のアーキテクチャを学習することで、大規模な事前学習済みマルチモーダル-BERTモデルと比較してパラメータ効率を向上させること。
• NASがマルチモーダル理解タスクにおけるタスク固有の表現的ニーズを効果的に捉えられることを示すこと。

提案手法

• 残差接続、自己自己注意、特徴統合などの基本的な演算を、ニューラルアーキテクチャ探索の構築ブロックとして定義する。
• 各エンコーダーやデコーダーブロックを事前に定義された演算プールからの探索された演算として構成する、統一されたエンコーダ・デコーダバックボーンを構築する。
• 各タスクに対してアーキテクチャとモデル重みを同時に最適化する勾配ベースのワンショットニューラルアーキテクチャ探索（NAS）アルゴリズムを用いる。
• VQA、画像・テキストマッチング、視覚的グランドリングなどのタスク固有のヘッドを共有バックボーンの上に接続し、異なる下流タスクに適応させる。
• 微分可能探索を活用して、複数のデータセットとタスクにわたるエンド・ツー・エンドの訓練とアーキテクチャ最適化を効率的に行う。
• 提案されたMMnasNetを事前学習戦略と統合することでさらに性能を向上させるが、コアフレームワークは大規模な事前学習を必要としない。

実験結果

リサーチクエスチョン

• RQ1 1つの一般化されたフレームワークが、多様なマルチモーダル学習タスク向けに最適なニューラルアーキテクチャを自動で発見できるか？
• RQ2 手作業によるアーキテクチャや事前学習済みマルチモーダルモデルと比較して、NASベースのアーキテクチャ探索は性能とパラメータ効率の点でどのように優れているか？
• RQ3 VQAと視覚的グランドリングなどの異なるマルチモーダルタスクにおける最適アーキテクチャは、構造的および演算構成の点で顕著に異なるか？
• RQ4 提案されたMMnasフレームワークが、タスク固有のアーキテクチャ設計を一切行わずに複数のベンチマークで最先端の性能を達成できるか？
• RQ5 オブジェクトカウントのような困難なサブタスクにおいて、新しい演算（RSA）の導入がどの程度性能向上に寄与するか？

主な発見

• MMnasNetはVQA-v2データセットで新たな最先端性能を達成し、全回答タイプで先行手法を上回った。特に『数』タイプ（オブジェクトカウント）で5.5%の顕著な向上を示した。
• Flickr30Kでは、テキストから画像へのリtrieバルで78.3%のRecall@1と97.4%のRecall@10を達成し、前回SOTA（CAMP：68.1%と95.2%）を10ポイント以上上回った。
• Flickr30Kにおける画像からテキストへのリtrieバルでは、60.7%のRecall@1、85.1%のRecall@5、90.5%のRecall@10を達成し、CAMP（51.5%、77.1%、85.3%）を顕著に上回った。
• RefCOCO、RefCOCO+、RefCOCOgでは、標準特徴を用いて75.6%の精度、より強力なFRCN特徴を用いて80.1%の精度を達成し、MAttNetを5%以上上回った。
• アブレーションスタディにより、探索されたアーキテクチャがタスクごとに顕著に異なることが確認され、フレームワークの適応性とタスク固有の最適化能力が裏付けられた。
• 残差自己注意（RSA）演算の導入が、オブジェクトカウントのような複雑な推論タスクにおける性能向上に極めて重要であることが示された。