[論文レビュー] Learning the Best Pooling Strategy for Visual Semantic Embedding

Jiacheng Chen, Hexiang Hu+3 more|arXiv (Cornell University)|Nov 9, 2020

Multimodal Machine Learning Applications参考文献 53被引用数 23

ひとこと要約

本稿では、視覚的・言語的特徴の最適なプーリング戦略を自動で発見できる学習可能なプーリングモジュール、一般化プーリング演算子（GPO）を提案する。位置エンコーディングに条件付けられた軽量なシーケンスモデルを用いてプーリング係数を学習することで、GPOは複雑な集約器を凌駆し、計算コストの増加を最小限に抑えつつ、画像および動画テキスト検索ベンチマークで最先端の性能を達成する。

ABSTRACT

Visual Semantic Embedding (VSE) is a dominant approach for vision-language retrieval, which aims at learning a deep embedding space such that visual data are embedded close to their semantic text labels or descriptions. Recent VSE models use complex methods to better contextualize and aggregate multi-modal features into holistic embeddings. However, we discover that surprisingly simple (but carefully selected) global pooling functions (e.g., max pooling) outperform those complex models, across different feature extractors. Despite its simplicity and effectiveness, seeking the best pooling function for different data modality and feature extractor is costly and tedious, especially when the size of features varies (e.g., text, video). Therefore, we propose a Generalized Pooling Operator (GPO), which learns to automatically adapt itself to the best pooling strategy for different features, requiring no manual tuning while staying effective and efficient. We extend the VSE model using this proposed GPO and denote it as VSE$\infty$. Without bells and whistles, VSE$\infty$ outperforms previous VSE methods significantly on image-text retrieval benchmarks across popular feature extractors. With a simple adaptation, variants of VSE$\infty$ further demonstrate its strength by achieving the new state of the art on two video-text retrieval datasets. Comprehensive experiments and visualizations confirm that GPO always discovers the best pooling strategy and can be a plug-and-play feature aggregation module for standard VSE models. Code and pre-trained models are available at https://vse-infty.github.io.

研究の動機と目的

• VSEモデルにおける多様なデータモダリティおよび特徴抽出器において、プーリング関数の手動チューニングの課題に対処すること。
• 手動のハイパーパrameter探索を必要とせず、最良のプーリング戦略に自動的に適応できる、即挿し可能な特徴集約モジュールを開発すること。
• 複雑な集約器を置き換えることでVSEのパフォーマンスを向上させること。学習可能で一般化可能なプーリング機構を用いることで、効率性を維持すること。
• 適切に選択された単純なプーリング関数が、適切に選択された場合、複雑な集約器を上回ることを示し、その選択プロセスを自動化すること。

提案手法

• 順序付けられた特徴ベクトルの最適なプーリング係数を生成できるパラメータ化されたプーリング層として、一般化プーリング演算子（GPO）を提案する。
• 正弦波位置エンコーディングを用いて位置インデックスを表現し、変動サイズの特徴に対しても一般化を可能にする。
• 各特徴要素の位置と埋め込み文脈に基づいて重みを予測するため、BiGRUに基づく係数生成器を訓練する。
• VSEフレームワークにGPOを統合し、視覚的およびテキストブランチの両方で標準的な集約器を置き換えることで、VSE∞を構築する。
• 対照学習の向上を図るため、オンラインのハードネガティブマイニングを用いたマージンベースのトリプレット順序付け損失でモデルを最適化する。
• 訓練中にサイズ拡張を適用することで、未観測の特徴サイズへの一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 単純で学習可能なプーリング演算子は、VSEモデルにおいて複雑な特徴集約器を上回ることができるか？
• RQ2 手動チューニングなしで、異なるデータモダリティおよび特徴抽出器に対して最適なプーリング戦略を自動で発見することは可能か？
• RQ3 一般化プーリング演算子は、画像、テキスト、動画入力の未観測の特徴サイズに対しても、どれほど一般化できるか？
• RQ4 VSEの文脈において、次元ごとのプーリング係数やデータ依存の係数を追加することでパフォーマンスが向上するか？
• RQ5 提案されたGPOは、最小限の適応で動画テキスト検索タスクに効果的に転送可能か？

主な発見

• GPOは、網羅的なグリッドサーチによる確認を得て、異なるデータモダリティおよび特徴抽出器において一貫して最良のプーリング戦略を発見する。
• GPOを搭載したVSE∞は、COCOおよびFlickr30Kの画像テキスト検索ベンチマークで最先端のパフォーマンスを達成し、先行するSOTA VSE手法を上回る。
• MSR-VTTおよびVaTeXの動画テキスト検索データセットでは、VSE∞の変種がわずかな適応のみで、新たな最先端の結果を達成する。
• GPOのCos/Sin+BiGRU設計は、合成パターン生成におけるRMSEの観点で最高のパフォーマンスを発揮し、Interp や Index+BiGRU といった代替手法を上回る。
• 次元ごとのプーリング係数やデータ依存の生成器を追加してもパフォーマンスが向上せず、単純な設計が十分であり、過学習のリスクも低いことが示唆される。
• 適切に選択された単純なプーリング関数（例：マックスプーリング）が複雑な集約器を上回ることを確認し、GPOがその選択を効果的に自動化していることが示された。