[論文レビュー] Finding beans in burgers: Deep semantic-visual embedding with localization

Martin Engilberge, Louis Chevallier+2 more|arXiv (Cornell University)|Apr 5, 2018

Multimodal Machine Learning Applications参考文献 47被引用数 88

ひとこと要約

論文は完全畳み込みの視覚パスとscratchで訓練されたテキストパスを備えた2経路のセマンティック-ビジュアル埋め込みを提案し、クロスモーダル検索で最先端の成果を達成し、画像内の弱教師ありフレーズ局在を提供します。

ABSTRACT

Several works have proposed to learn a two-path neural network that maps images and texts, respectively, to a same shared Euclidean space where geometry captures useful semantic relationships. Such a multi-modal embedding can be trained and used for various tasks, notably image captioning. In the present work, we introduce a new architecture of this type, with a visual path that leverages recent space-aware pooling mechanisms. Combined with a textual path which is jointly trained from scratch, our semantic-visual embedding offers a versatile model. Once trained under the supervision of captioned images, it yields new state-of-the-art performance on cross-modal retrieval. It also allows the localization of new concepts from the embedding space into any input image, delivering state-of-the-art result on the visual grounding of phrases.

研究の動機と目的

• ImagesとTextの共同埋め込みを動機づけ、意味的関係を共有空間に捉える。
• 視覚パスにおける空間情報を保ちつつ、領域提案を必要としないスペース認識的な選択的空間プーリングを導入する。
• word2vecを用いた単語表現を活用しつつ、0から訓練するテキストエンコーダを訓練する。
• 埋め込み空間からヒートマップを導出することで、明示的な領域レベルの監督なしに概念の画像内局在を可能にする。

提案手法

• 完全畳み込みの視覚パス（ResNet-152ベース、1x1適応、選択的空間プーリング、最終投影）によりxをR^dとして生成する。
• テキストパスはword2vec入力に続く簡易SRUエンコーダで文を符号化し、vをR^dとして生成する。
• バッチベースのハードネガティブ・マイニングを用いたコントラスト的トリプレットランキング損失で、画像とキャプションの埋め込みを整合させる。
• 埋め込みベクトルを学習済みの1x1投影を介して一連の特徴マップへマッピングし、上位k個のテキスト埋め込みエントリで重み付けしてヒートマップを形成することで局在化を実現する。
• 視覚パスの空間情報を保持するための弱教師付き局在化に着想を得た選択的空間プーリング（ネガ証拠）を採用する。
• 2段階で訓練する：ImageNet初期化による視覚投影の事前訓練、次にMS-COCOでAdamオプティマイザを用いたエンドツーエンドファインチューニング。

実験結果

リサーチクエスチョン

• RQ1 領域提案なしで、空間認識プーリングを備えた共同訓練済みの画像-テキスト埋め込みが最先端のクロスモーダル検索を達成できるか。
• RQ2 埋め込み空間が、見たことのない概念を含む任意のテキスト概念の弱教師付き局在を通じて画像内で局在化を可能にするか。
• RQ3 ハードネガティブ・マイニングは、ランダムネガティブと比較してクロスモーダル埋め込み性能にどの程度影響するか。
• RQ4 最終プーリングをグローバル平均プーリングに置換すると、検索と局在化の性能にどのような影響があるか。
• RQ5 MS-COCOで訓練したモデルはFlickr-30KやVisual Genomeなど他データセットへの groundingタスクの転移にどの程度適しているか。

主な発見

• MS-COCOでのクロスモーダル検索で最先端を達成し、R@1, R@5, R@10 指標で従来手法を上回る。
• MS-COCOベースの評価での指差しゲーム精度33.8%という強力なフレーズ grounding能力を示し、従来手法を凌駕。
• 埋め込み空間から局在化ヒートマップを派生させ、画像内の概念を局在化でき、 unseenな概念も領域提案なしで可能。
• ハードネガティブ・マイニングは、ランダムネガティブのみを用いる場合よりも検索性能を大幅に改善。
• Flickr-30Kへの転移と定性的なゼロショット局在化能力を示すが、さらなるファインチューニングの余地あり。
• 選択的プーリングをGlobal Average Poolingに置換すると、タスク間で性能が効果的に低下する（ただし程度は限定的）。