[論文レビュー] Deep Metric Learning Beyond Binary Supervision

Sung‐Yeon Kim, Minkyo Seo+3 more|arXiv (Cornell University)|Apr 21, 2019

Multimodal Machine Learning Applications参考文献 56被引用数 10

ひとこと要約

本論文は、二値の教師信号の代わりに、人間のポーズ、部屋のレイアウト、画像キャプションなどの連続的類似度ラベルを活用する、新しい深層度量学習フレームワークを提案する。比保存型三重損失と密な三重サンプリング戦略を導入することで、より豊かで洗練された類似度メトリクスを学習し、画像検索および視覚的表現学習タスクにおいて先行手法を上回る性能を発揮する。特に、学習済み特徴量を用いた画像キャプション生成においても性能向上を達成する。

ABSTRACT

Metric Learning for visual similarity has mostly adopted binary supervision indicating whether a pair of images are of the same class or not. Such a binary indicator covers only a limited subset of image relations, and is not sufficient to represent semantic similarity between images described by continuous and/or structured labels such as object poses, image captions, and scene graphs. Motivated by this, we present a novel method for deep metric learning using continuous labels. First, we propose a new triplet loss that allows distance ratios in the label space to be preserved in the learned metric space. The proposed loss thus enables our model to learn the degree of similarity rather than just the order. Furthermore, we design a triplet mining strategy adapted to metric learning with continuous labels. We address three different image retrieval tasks with continuous labels in terms of human poses, room layouts and image captions, and demonstrate the superior performance of our approach compared to previous methods.

研究の動機と目的

• 二値教師信号の限界に起因する、意味的類似度の度合いを捉えきれない点を是正すること。
• 人間のポーズ、シーングラフ、画像キャプションなどの豊富で連続的かつ構造的なラベルを活用できるように、深層度量学習を拡張すること。
• 埋め込み空間におけるラベル空間の距離比を保存する損失関数を設計し、類似度の度合いに敏感な学習を可能にすること。
• 二値化を回避し、ミニバッチ内のすべての隣接ペairを活用する三重サンプリング戦略を開発すること。
• 本フレームワークの有効性を、複数の検索タスクおよび下流のビジョン応用において実証すること。

提案手法

• ラベル空間の距離比を埋め込み空間に保存する新たな三重損失を導入し、度合いに敏感な類似度学習を可能にする。
• ミニバッチ内に存在するすべての可能な三重組をサンプリングする密な三重マイニング戦略を提案し、二値化の必要性を排除する。
• ポーズ類似度スコア、キャプション埋め込みなど、連続的ラベル（例：ポーズ類似度スコア、キャプション埋め込み）を教師信号として用い、度量空間の学習をガイドする。
• 人間のポーズ、部屋のレイアウト、画像キャプション検索の3つの検索タスクに、連続的ラベルを用いて本手法を適用する。
• 畳み込みニューラルネットワーク（CNN）を訓練し、ラベル空間における相対的距離が学習済み度量空間に保存されるように画像を埋め込む。
• 本フレームワークを用いて学習した視覚的特徴量を、画像キャプション生成タスクに応用し、ImageNet事前学習に代えてキャプションに配慮した表現学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 二値教師信号ではなく、連続的類似度ラベルを用いることで、深層度量学習は恩恵を受けることができるか？
• RQ2 画像間の類似度の相対的度合いを、学習済み埋め込み空間にどのように保存できるか？
• RQ3 ラベル距離比を保存する三重損失は、標準的な三重損失に比べてより優れた度量表現をもたらすか？
• RQ4 二値化を回避する密な三重マイニング戦略は、性能向上に寄与するか？
• RQ5 学習済み度量空間は、画像キャプションなどの下流タスクにおける有効な視覚的特徴として機能できるか？

主な発見

• 提案手法は、人間のポーズ、部屋のレイアウト、画像キャプションの連続的ラベルを用いた画像検索タスクで、最先端の性能を達成した。
• 比保存型損失と密なマイニング戦略の両方が、性能向上に顕著な貢献を示し、特に後者により訓練データの有効活用が可能になった。
• 従来手法と比較して、低い埋め込み次元数でも効果的な視覚的表現を学習できた。
• 本フレームワークを用いて学習したキャプションに配慮した視覚的特徴量は、ImageNet事前学習済み特徴量を上回り、CIDEr-D、BLEU-4、METEOR、ROUGE-L、SPICEスコアのすべてで高い性能を達成した。
• 定性的な結果から、本手法は物体間の相互作用や動作といった複雑な意味的関係を持つ画像を、ベースラインに比べてより正確に検索できていることが示された。
• 本手法は多様な連続的ラベルタイプに一般化できることを示し、堅牢性と転移性の両面で優れた性能を発揮した。