[論文レビュー] Learning Structured Semantic Embeddings for Visual Recognition

Li Dong, Hsin-Ying Lee+3 more|arXiv (Cornell University)|Jun 5, 2017

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 9

ひとこと要約

本稿では、画像とテキストのアライメントを向上させるために、識別的制約および差分制約を導入することで、構造的意味的埋め込みを提示する。クラス内およびクラス間の関係をモデル化し、単語埋め込み間の意味的関係を保持することで、ゼロショット認識性能をSOTA水準にまで向上させた。aP&Yデータセットでは54.7%の精度を達成し、ImageNetではDeViSEより3.4%高い性能を示した。

ABSTRACT

Numerous embedding models have been recently explored to incorporate semantic knowledge into visual recognition. Existing methods typically focus on minimizing the distance between the corresponding images and texts in the embedding space but do not explicitly optimize the underlying structure. Our key observation is that modeling the pairwise image-image relationship improves the discrimination ability of the embedding model. In this paper, we propose the structured discriminative and difference constraints to learn visual-semantic embeddings. First, we exploit the discriminative constraints to capture the intra- and inter-class relationships of image embeddings. The discriminative constraints encourage separability for image instances of different classes. Second, we align the difference vector between a pair of image embeddings with that of the corresponding word embeddings. The difference constraints help regularize image embeddings to preserve the semantic relationships among word embeddings. Extensive evaluations demonstrate the effectiveness of the proposed structured embeddings for single-label classification, multi-label classification, and zero-shot recognition.

研究の動機と目的

• 視覚的カテゴリ間の意味的関係を捉えることができない離散的分類器の限界を解決すること。
• テキストデータからの連続的意味的関係を活用することで、ゼロショット認識を向上させること。
• より良い識別性を実現するため、画像埋め込みにおけるクラス内およびクラス間の関係を明示的にモデル化すること。
• 差分制約を用いて、語のペア間の意味的関係を画像埋め込み空間に保存するように画像埋め込みを正則化すること。
• 高価なバウンディングボックスアノテーションを回避する統合的かつスケーラブルな手法を開発すること。

提案手法

• 対照的損失およびトライアングル損失を用いた識別的制約を導入し、異なる画像クラス間の分離性を向上させること。
• 画像埋め込み間の差分ベクトルと対応する単語埋め込み間の差分ベクトルを一致させる差分制約を提案すること。
• ランク損失、識別的制約、差分制約を統合したマルチタスク学習フレームワークを構築すること。
• 損失関数を複数ラベルに適応させることで、マルチラベル画像分類に対応するようにモデルを拡張すること。
• 画像埋め込み学習をガイドするため、事前学習済みの単語埋め込み（例：Word2Vec）を意味的事前知識として用いること。
• テスト時適応なしに最近傍分類を適用することで、一般化性能を確保すること。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズの画像関係をモデル化することで、視覚的意味的埋め込みの識別性が向上するか？
• RQ2 単語埋め込み間の意味的関係は、画像埋め込み空間にどのように保持されるか？
• RQ3 識別的制約と差分制約は、ゼロショット認識の向上において補完的か？
• RQ4 提案手法は、数千クラスを含む大規模データセットにも一般化可能か？
• RQ5 見たことがあるクラスに偏りが減り、見覚えのないカテゴリの性能が向上するか？

主な発見

• 提案手法はaP&Yデータセットで54.7%のゼロショット認識精度を達成し、前人最高水準を5.7ポイント上回った。
• ImageNet 2010データセットでは、1,000ラベルで平坦なhit@5精度12.4%を達成し、DeViSEより3.4%高い性能を示した。
• 識別的制約と差分制約を併用することで最良の性能が得られ、両者の補完的性質が裏付けられた。
• aP&Yデータセットでは、単語埋め込みのみでベースライン性能を8.4%向上、組み合わせ埋め込みでは7.2%向上した。
• 誤分類の分析から、ゼブラとラクダのように意味的に類似したクラス間で主に誤分類が発生しており、モデルの意味的整合性が確認された。
• バウンディングボックスアノテーションやテスト時適応を一切必要とせず、大規模認識タスクに良好に一般化した。