[論文レビュー] Training Recurrent Answering Units with Joint Loss Minimization for VQA

Hyeonwoo Noh, Bohyung Han|arXiv (Cornell University)|Jun 12, 2016

Multimodal Machine Learning Applications参考文献 26被引用数 69

ひとこと要約

本稿では、複数の推論ステップにわたる損失を同時に最小化する共有重み型の回答ユニットを備えた再帰的視覚質問応答モデルを提案する。訓練中に過学習を回避するための早期停止を適用し、推論時には最初のユニットのみを用いることで、データ拡張なしでVQAデータセットで最先端の性能を達成し、固定ステップ数のマルチステップモデルを上回る。

ABSTRACT

We propose a novel algorithm for visual question answering based on a recurrent deep neural network, where every module in the network corresponds to a complete answering unit with attention mechanism by itself. The network is optimized by minimizing loss aggregated from all the units, which share model parameters while receiving different information to compute attention probability. For training, our model attends to a region within image feature map, updates its memory based on the question and attended image feature, and answers the question based on its memory state. This procedure is performed to compute loss in each step. The motivation of this approach is our observation that multi-step inferences are often required to answer questions while each problem may have a unique desirable number of steps, which is difficult to identify in practice. Hence, we always make the first unit in the network solve problems, but allow it to learn the knowledge from the rest of units by backpropagation unless it degrades the model. To implement this idea, we early-stop training each unit as soon as it starts to overfit. Note that, since more complex models tend to overfit on easier questions quickly, the last answering unit in the unfolded recurrent neural network is typically killed first while the first one remains last. We make a single-step prediction for a new question using the shared model. This strategy works better than the other options within our framework since the selected model is trained effectively from all units without overfitting. The proposed algorithm outperforms other multi-step attention based approaches using a single step prediction in VQA dataset.

研究の動機と目的

• 視覚質問応答（VQA）の質問ごとに異なる最適な推論ステップ数を事前に定義することが難しいという課題に対処すること。
• パラメータを共有する複数の回答ユニットを備えた再帰的ネットワークを訓練することで、一般化性能とVQAの性能を向上させること。
• 後続の推論ステップでの過学習を防ぎつつ、より信頼性の高い初期のユニットが保持する知識を維持する訓練戦略を開発すること。
• 共同損失最小化と段階的早期停止を活用して、すべてのユニットからの知識を活用することで、単一ステップの推論を効果的に行えるようにすること。

提案手法

• モデルは再帰的アーキテクチャを採用し、各回答ユニットが画像および質問特徴を処理し、関連する画像領域に注目するための注目メカニズムを適用し、メモリ状態を更新する。
• すべての回答ユニットは同じモデルパラメータを共有するが、異なるコンテキストを受け取る：初期のユニットは直前のステップからの特徴を受け取ることで、階層的な推論を可能にする。
• ネットワークは、すべてのユニットからの損失を集約する共同損失関数を最小化することで訓練される。これにより、各ユニットが全体の予測に寄与することを促進する。
• 各ユニットに対して早期停止戦略を適用する：検証精度が低下し始めた段階ですぐに訓練を停止させることで、過学習を防ぐ。
• 推論時には、最も信頼性が高く、すべての他のユニットからの知識を学習済みである最初の回答ユニットのみを用いて予測を行う。
• 共同最適化を通じてユニットが異なる推論深度に特化できるようにすることで、質問ごとに最適なステップ数を暗黙的に学習する。

実験結果

リサーチクエスチョン

• RQ1 共有重み型の回答ユニットを備えた再帰的VQAモデルが、複数の推論ステップにわたって共同最適化することで性能向上を達成できるか？
• RQ2 訓練中に過学習を起こしそうなユニットに対して早期停止を適用することで、単一ステップ推論における一般化性能が向上するか？
• RQ3 複数ステップからの共同損失によって訓練された単一の回答ユニットは、事前に固定された推論ステップ数を持つモデルを上回れるか？
• RQ4 段階的早期停止は、異なる数の推論ステップを要する質問を処理するモデルの能力にどのように影響するか？

主な発見

• 提案手法Ours_FULLは、VGG-16特徴を用いてVQAデータセットで63.2%のテスト・デベロップメント精度を達成し、他のマルチステップアテンションベースのモデルを上回る。
• Ours_SS（単一ステップベースライン）からOurs_FULL（共同損失と早期停止を導入）に改善した際の性能向上は2.3パーセンテージポイントであり、VQA文脈では顕著な向上である。
• ResNet-101特徴を用いた場合、モデルはテスト・デベロップメントスプリットで67.3%、テスト・スタンダードスプリットで61.0%の精度を達成し、より優れた画像エンコーダーとのスケーラビリティが顕著に示された。
• 可視化結果から、Ours_FULLは意味的に関連する画像領域に注目している一方、Ours_SSはしばしば関係のない物体に引きつけられることが判明し、より優れた注目学習が実現していることが示された。
• 推論に使用される最初の回答ユニットが最高の性能を示すのは、すべてのユニットからの知識を学習済みであり、早期停止機構のおかげで過学習を回避しているからである。