[論文レビュー] Image Question Answering using Convolutional Neural Network with Dynamic Parameter Prediction

Hyeonwoo Noh, Paul Hongsuck Seo+1 more|arXiv (Cornell University)|Nov 18, 2015

Multimodal Machine Learning Applications参考文献 28被引用数 40

ひとこと要約

この論文では、質問の内容に応じて重みを動的に予測するGRUベースのパラメータ予測ネットワークによって制御されるCNNにおける動的パラメータ層を用いる、DPP-Netと呼ばれる新しい画像質問応答モデルを提案する。パラメータハッシュを適用することで計算複雑性を低減し、VQA、COCO-QA、DAQUARを含むすべての主要なImageQAベンチマークで最先端の性能を達成した。本モデルは、複雑な注目メカニズムやオブジェクトレベルのアノテーションを必要としない。

ABSTRACT

We tackle image question answering (ImageQA) problem by learning a convolutional neural network (CNN) with a dynamic parameter layer whose weights are determined adaptively based on questions. For the adaptive parameter prediction, we employ a separate parameter prediction network, which consists of gated recurrent unit (GRU) taking a question as its input and a fully-connected layer generating a set of candidate weights as its output. However, it is challenging to construct a parameter prediction network for a large number of parameters in the fully-connected dynamic parameter layer of the CNN. We reduce the complexity of this problem by incorporating a hashing technique, where the candidate weights given by the parameter prediction network are selected using a predefined hash function to determine individual weights in the dynamic parameter layer. The proposed network---joint network with the CNN for ImageQA and the parameter prediction network---is trained end-to-end through back-propagation, where its weights are initialized using a pre-trained CNN and GRU. The proposed algorithm illustrates the state-of-the-art performance on all available public ImageQA benchmarks.

研究の動機と目的

• 質問の内容に基づいて、1つのCNNが認識タスクを動的に適応させることで、画像質問応答における包括的シーン理解の課題に取り組むこと。
• 全結合層における多数の動的パラメータを予測する際の計算負荷を軽減するために、パラメータハッシュを適用すること。
• 大規模なテキストコーパスで微調整することで、低データ環境における一般化性能を向上させること。
• 複雑な注目モジュールや検出モジュールに依存せずに、複数の公開ImageQAベンチマークで最先端の性能を達成すること。

提案手法

• 質問の入力に基づいてリアルタイムで重みが予測される動的全結合層を備えた深層CNN。
• 質問の符号化にGRUエンコーダを用い、動的層の候補重みを生成する全結合層から構成される別個のパラメータ予測ネットワーク。
• 動的層の学習パラメータ数を削減しつつネットワーク容量を維持するため、ハッシュのテクニックを適用すること。
• バックプロパゲーションを用いたエンドツーエンドの学習で、事前学習済みのCNNおよびGRUモデルからの重み初期化を実施すること。
• 低リソースのImageQAデータセットにおける性能向上を図るため、GRUを大規模なテキストコーパスで微調整すること。
• 推論時における関連する質問の解釈と検索を分析するために、コサイン類似度を用いること。

実験結果

リサーチクエスチョン

• RQ1 1つのCNNアーキテクチャが、質問の意味的コンテンツに基づいて認識タスクを動的に適応させられるか？
• RQ2 大規模な動的パラメータ予測を、ディープラーニングモデルにおいて計算的に実行可能にする方法は何か？
• RQ3 大規模なテキストコーパスで事前学習した質問エンコーダーは、リソースが限られたImageQAデータセットでの性能向上に寄与するか？
• RQ4 ハッシュベースのパラメータ共有戦略は、モデルの複雑性を低減しつつも高い性能を維持できるか？
• RQ5 視覚的・言語的理解の異なるレベルを要する多様な質問タイプに、モデルはどのように一般化するか？

主な発見

• 提案されたDPP-Netは、VQA、COCO-QA、DAQUARという3つの主要なImageQAベンチマークで、すべてにおいて最先端の性能を達成した。
• VQAデータセットでは、トップ10正解率が67.81%に達し、先行手法のConvQA（62.95%）やDPPnet（60.77%）を上回った。
• COCO-QAデータセットでは、トップ10正解率が67.81%に達し、前回最良手法（DPPnet）を7.04ポイント上回った。
• DAQUAR-reducedデータセットでは、トップ10正解率が34.80%に達し、前回最良手法（DPPnet）を3.62ポイント以上上回った。
• 本モデルは、特に二値選択問題や複数選択問題において優れた一般化性能を示したが、数え上げやオブジェクト検出タスクでは苦戦した。
• 大規模なテキストコーパスでGRUを微調整することで、質問の意味的意図に基づいた解釈能力が向上し、表面的なキーワードに依存しないことが、類似質問の検索結果の定性的分析から明らかになった。