[論文レビュー] VSE-ens: Visual-Semantic Embeddings with Efficient Negative Sampling

Guibing Guo, Songlin Zhai+3 more|arXiv (Cornell University)|Jan 5, 2018

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文では、視覚的・意味的埋め込み（VSE）のトレーニングを高速化するための高速で適応的なネガティブサンプラー、VSE-ensを提案する。この手法は、順位不変変換を用いて上位ランクのネガティブ例を選択することで、時間計算量を削減しながら順位精度を損なわずにトレーニングを加速する。OpenImagesでは、最先端手法と比較して最大5.02倍の高速な収束を達成し、IAPR-TCI2およびNUS-WIDEでも一貫した高速化を実現しながら、性能を維持または向上させる。

ABSTRACT

Jointing visual-semantic embeddings (VSE) have become a research hotpot for the task of image annotation, which suffers from the issue of semantic gap, i.e., the gap between images' visual features (low-level) and labels' semantic features (high-level). This issue will be even more challenging if visual features cannot be retrieved from images, that is, when images are only denoted by numerical IDs as given in some real datasets. The typical way of existing VSE methods is to perform a uniform sampling method for negative examples that violate the ranking order against positive examples, which requires a time-consuming search in the whole label space. In this paper, we propose a fast adaptive negative sampler that can work well in the settings of no figure pixels available. Our sampling strategy is to choose the negative examples that are most likely to meet the requirements of violation according to the latent factors of images. In this way, our approach can linearly scale up to large datasets. The experiments demonstrate that our approach converges 5.02x faster than the state-of-the-art approaches on OpenImages, 2.5x on IAPR-TCI2 and 2.06x on NUS-WIDE datasets, as well as better ranking accuracy across datasets.

研究の動機と目的

• 視覚的・意味的埋め込み（VSE）トレーニングにおける均一なネガティブサンプリングの非効率性、特にピクセルレベルの特徴が欠落している画像においての問題を解決すること。
• 完全なラベル空間の走査が計算的に不可能な大規模データセットにおいて、ネガティブサンプリングの時間計算量を低減すること。
• 高価な内積計算を伴わずに、高ランクのネガティブ例を動的に選択するサンプリング戦略を開発すること。
• 従来の内積ベースのサンプリングと理論的に同等の最適化目的を保ちながら、トレーニング速度を著しく向上させること。
• 画像がピクセルデータではなく数値IDでのみ表現される現実世界の設定において、効率的かつスケーラブルなVSEトレーニングを可能にすること。

提案手法

• 正例ペアに対する順位順序の違反を最も引き起こしうるネガティブ例を特定するための順位不変変換を提案する。
• ラベル空間の完全走査を避けるために、画像およびアノテーションの潜在要因に基づいてネガティブアノテーションを選択する。
• 計算コストの高い内積演算を、相対的順位順序を保持する変換に置き換える。
• VSEフレームワークに適応的サンプラーを統合し、高速でスケーラブルかつ正確な統合埋め込み学習を可能にする。
• 理論的証明により、提案されたサンプリングが最適化目的において従来の内積ベースのサンプリングと同等であることを示す。
• 現在の埋め込み状態に基づいてネガティブサンプル選択を動的に調整することで、効率的なオンライン学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 視覚的・意味的埋め込みにおけるネガティブサンプリングは、順位精度を損なわずに高速化可能か？
• RQ2 視覚的特徴が利用不可で、画像IDのみが提供される状況では、効率的にネガティブ例をどのように選択できるか？
• RQ3 潜在要因と順位不変変換を活用することで、ネガティブサンプリングの時間計算量を低減可能か？
• RQ4 提案された適応的サンプリングは、標準的な内積ベースのサンプリングと理論的に同等か？
• RQ5 提案手法は、高次元のアノテーション空間を持つ大規模データセットにおいてどのようにスケーリングするか？

主な発見

• VSE-ensは、OpenImagesデータセットにおいて、最先端手法と比較して最大5.02倍の高速なトレーニング収束を達成する。
• IAPR-TCI2データセットではトレーニング時間を2.5倍短縮し、NUS-WIDEデータセットでは2.06倍短縮する。
• 高速化にもかかわらず、評価されたすべてのデータセットで順位精度を維持または向上させる。
• 理論的分析により、適応的サンプリング戦略が最適化目的において従来の内積ベースのサンプリングと同等であることが確認された。
• 手法はデータセットサイズに線形にスケーリング可能であり、大規模な画像アノテーションタスクに適している。
• 画像がピクセルレベルの特徴ではなく、数値IDでのみ表現される場合でも、本手法は有効である。