[論文レビュー] Mean Box Pooling: A Rich Image Representation and Output Embedding for the Visual Madlibs Task

Ashkan Mokarian, Mateusz Malinowski+1 more|arXiv (Cornell University)|Aug 9, 2016

Multimodal Machine Learning Applications参考文献 25被引用数 4

ひとこと要約

この論文では、視覚的理解を向上させるために多数の重複するオブジェクト候補からCNN特徴を集約する、豊富な画像表現であるMean Box Poolingを導入する。予測された回答の埋め込みと真のラベルの埋め込みの類似度を出力空間で直接最適化する、新たなテキスト埋め込み損失と組み合わせることで、Visual Madlibsベンチマークで最先端の性能を達成し、従来のCNN+LSTMおよびnCCAベースの手法を上回る。

ABSTRACT

We present Mean Box Pooling, a novel visual representation that pools over CNN representations of a large number, highly overlapping object proposals. We show that such representation together with nCCA, a successful multimodal embedding technique, achieves state-of-the-art performance on the Visual Madlibs task. Moreover, inspired by the nCCA's objective function, we extend classical CNN+LSTM approach to train the network by directly maximizing the similarity between the internal representation of the deep learning architecture and candidate answers. Again, such approach achieves a significant improvement over the prior work that also uses CNN+LSTM approach on Visual Madlibs.

研究の動機と目的

• 多数の重複するオブジェクト候補を活用することで、Visual Madlibsタスクのための視覚的表現を向上させること。
• CNN+LSTMモデルの後処理による回答選択の制限を克服し、類似度計算を訓練プロセスに直接統合すること。
• 埋め込み類似度のエンドツーエンド最適化が、複数選択型視覚推論タスクの性能向上に寄与することを示すこと。
• 多数の高重複オブジェクト候補からのプーリングが、特徴の豊かさとモデル性能を向上させることを示すこと。

提案手法

• Mean Box Poolingは、多数の高重複オブジェクト候補からのCNN特徴を集約し、多スケールで豊富な画像表現を生成する。
• 両方の画像およびテキスト表現を共有空間に埋め込むために、正規化相関分析（nCCA）を用いる。
• 予測された出力埋め込みと真のラベルの回答埋め込みのコサイン類似度を最大化する、新たなテキスト埋め込み損失を導入する。
• CNN+LSTMアーキテクチャを拡張し、後処理による回答比較の代わりに、埋め込み空間での類似度最適化を直接行う。
• 予測された埋め込みが正しい候補の回答に一致するよう促すコントラスト損失を用いて、エンドツーエンドでモデルを訓練する。
• 本手法はVisual Madlibsデータセットで評価され、エラーの少ないタスクバージョンおよび難易度の高いタスクバージョンの両方で、従来の最先端モデルを上回る性能を示した。

実験結果

リサーチクエスチョン

• RQ1 多数の高重複オブジェクト候補からのプーリングが、視覚推論タスクのための視覚的表現を向上させることができるか？
• RQ2 予測された回答と真のラベルの埋め込み類似度を直接最適化することで、視覚質問応答において後処理による比較よりも性能が向上するか？
• RQ3 Mean Box Poolingは、真のラベルのボクセルボックスやスパarsな候補と比較して、性能および頑健性において優れているか？
• RQ4 nCCAをCNN+LSTMアーキテクチャに統合することで、標準的なファインチューニングを上回る、複数選択型視覚推論の性能向上が達成できるか？

主な発見

• 多数の重複する候補を用いたMean Box Poolingは、真のラベルのボクセルボックスを用いた手法を上回り、Visual Madlibsベンチマークで最先端の性能を達成した。
• 提案されたテキスト埋め込み損失は、CNN+LSTMベースラインを顕著に改善し、エラーの少ないタスクで54.7%、難易度の高いタスクで49.3%の精度を達成し、元のCNN+LSTM手法を上回った。
• 提案された手法は、候補の密度が高くなるほど性能が向上し、それらが高重複であっても同様に有効であることが示された。
• エンドツーエンドの埋め込み類似度訓練アプローチは、従来の研究で用いられた後処理による比較戦略を上回り、複数選択の目的関数との統合の利点を示した。
• エラーの少ないタスクでは、元のCNN+LSTM手法（47.7%）に対して2.1ポイントの向上（49.8%）を達成し、難易度の高いタスクでは2.8ポイントの向上（49.3% vs. 41.7%）を示した。