[論文レビュー] Modulating early visual processing by language

Harm de Vries, Florian Strub+4 more|arXiv (Cornell University)|Jul 2, 2017

Multimodal Machine Learning Applications参考文献 28被引用数 295

ひとこと要約

本論文は言語で全体の前処理済み ResNet を調整する Conditional Batch Normalization (CBN) を提案し、LANGUAGE 入力を用いて視覚処理を条件付けする MODERN を構築、語彙入力を前処理段階から導入することで VQA の性能を改善する。

ABSTRACT

It is commonly assumed that language refers to high-level visual concepts while leaving low-level visual processing unaffected. This view dominates the current literature in computational models for language-vision tasks, where visual and linguistic input are mostly processed independently before being fused into a single representation. In this paper, we deviate from this classic pipeline and propose to modulate the \emph{entire visual processing} by linguistic input. Specifically, we condition the batch normalization parameters of a pretrained residual network (ResNet) on a language embedding. This approach, which we call MOdulated RESnet (\MRN), significantly improves strong baselines on two visual question answering tasks. Our ablation study shows that modulating from the early stages of the visual processing is beneficial.

研究の動機と目的

• 言語が初期の視覚処理にも影響を与えうるかを動機づけ、検証する。
• 言語埋め込みを用いて畳み込み特徴マップを調整する軽量でスケーラブルな機構（CBN）を提案する。
• 事前学習済み CNN の複数段階に言語条件付けを適用して強力なベースラインより VQA タスクで改善を示す。

提案手法

• Conditional Batch Normalization (CBN) を導入し、言語埋め込みから BN パラメータの変化を予測する。
• 事前学習済み CNN の重みは凍結し、質問埋め込みに条件付けられた小さな MLP を介して Delta beta, Delta gamma を学習する。
• ResNet の全ての残差ブロックに CBN を適用し MODERN アーキテクチャを形成する。
• VQAv1 および GuessWhat?! で、注意機構ベースおよびベースラインの VQA モデルを用いて MODERN を評価する。
• 強力なベースライン（Baseline, Ft Stage 4, Ft BN）および他のフュージョン手法（MLB, MUTAN, MCB）と比較する。
• 早期段階のモジュレーションが BN の微調整や最後のブロックだけを調整するよりも有益であることを示す。

実験結果

リサーチクエスチョン

• RQ1 言語で視覚処理の全体を条件付けることは、伝統的な二重ストリームの手法と比べて VQA の性能を向上させるか。
• RQ2 言語による初期の CNN レイヤの調整は、後半レイヤや BN パラメータのみを条件付けるより有利か。
• RQ3 MODERN は VQA データセットで最先端のフュージョン手法と比較してどうか。
• RQ4 ResNet の異なるサブセットの段階に CBN を適用する影響はどうか。
• RQ5 言語条件付け正規化は VQA 以外の視覚的に基づくタスク（例: GuessWhat?!）でも性能を向上させるか。

主な発見

Image size	Method	Yes/No	Number	Other	Overall
224x224	Baseline	79.45%	36.63%	44.62%	58.05%
224x224	Ft Stage 4	78.37%	34.27%	43.72%	56.91%
224x224	Ft BN	80.18%	35.98%	46.07%	58.98%
224x224	MODERN	81.17%	37.79%	48.66%	60.82%
448x448	MLB [14] with ResNet-50	80.20%	37.73%	49.53%	60.84%
448x448	MLB [14] with ResNet-152	80.95%	38.39%	50.59%	61.73%
448x448	MUTAN + MLB [2]	82.29%	37.27%	48.23%	61.02%
448x448	MCB + Attention [9] with ResNet-50	60.46%	38.29%	48.68%	60.46%
448x448	MCB + Attention [9] with ResNet-152	-	-	-	62.50%
448x448	MODERN	81.38%	36.06%	51.64%	62.16%
448x448	MODERN + MLB [14]	82.17%	38.06%	52.29%	63.01%

• MODERN は 224x224 入力でベースラインの VQA 精度を 58.05% から 60.82% に向上させる。
• BN パラメータのみ微調整する方が小さな改善（58.98%）、最後の Stage のみを微調整する方が効果が低い（56.91%） 。
• 言語で BN を条件付ける MODERN はベースラインを大きく上回り、より大きい入力解像度でも競合する結果を得る。
• 448x448 入力では、MODERN が 62.16%（MODERN）および 63.01%（MODERN + MLB）に達し、いくつかの強力なベースラインに近づく、または上回る。
• GuessWhat?! Oracle で、MODERN は テスト誤差を 25.06% に低減（raw features の 29.92% から）、空間情報/カテゴリ情報を用いるとより大きな利益。
• アブレーションでは全段階をモデュレートするのが最良の性能で、後半の段階に限定すると効果は逓減する。