[論文レビュー] Zero-Shot Hashing via Transferring Supervised Knowledge

Yang Yang, Wei‐Lun Chen+4 more|arXiv (Cornell University)|Jun 16, 2016

Advanced Image and Video Retrieval Techniques参考文献 34被引用数 33

ひとこと要約

本稿では、視認済み画像カテゴリからの教師あり知識を、0/1ラベルベクトルを意味的埋め込み空間に投影し、回転による整合性を図ることで、未学習のカテゴリに転送する新規手法であるゼロショットハッシング（ZSH）を提案する。ZSHは、CIFAR-10、ImageNet、MIRFlickrのすべてのデータセットでゼロショット画像検索において最先端の性能を達成し、128ビットコードにおいて最大19%のMAP向上を達成した。

ABSTRACT

Hashing has shown its efficiency and effectiveness in facilitating large-scale multimedia applications. Supervised knowledge e.g. semantic labels or pair-wise relationship) associated to data is capable of significantly improving the quality of hash codes and hash functions. However, confronted with the rapid growth of newly-emerging concepts and multimedia data on the Web, existing supervised hashing approaches may easily suffer from the scarcity and validity of supervised information due to the expensive cost of manual labelling. In this paper, we propose a novel hashing scheme, termed \emph{zero-shot hashing} (ZSH), which compresses images of "unseen" categories to binary codes with hash functions learned from limited training data of "seen" categories. Specifically, we project independent data labels i.e. 0/1-form label vectors) into semantic embedding space, where semantic relationships among all the labels can be precisely characterized and thus seen supervised knowledge can be transferred to unseen classes. Moreover, in order to cope with the semantic shift problem, we rotate the embedded space to more suitably align the embedded semantics with the low-level visual feature space, thereby alleviating the influence of semantic gap. In the meantime, to exert positive effects on learning high-quality hash functions, we further propose to preserve local structural property and discrete nature in binary codes. Besides, we develop an efficient alternating algorithm to solve the ZSH model. Extensive experiments conducted on various real-life datasets show the superior zero-shot image retrieval performance of ZSH as compared to several state-of-the-art hashing methods.

研究の動機と目的

• 大規模なマルチメディアシステムにおける新規に出現する画像カテゴリのラベル付きデータ不足の課題に対処すること。
• これらのカテゴリに対して手動でのアノテーションを必要とせず、効果的な画像検索を可能にすること。
• ラベル間の意味的関係をモデル化することで、学習済みカテゴリから未学習カテゴリへの教師あり知識の転送を実現すること。
• 埋め込み空間の回転によって、視覚的特徴と高レベルの意味的特徴の間の意味的ギャップを低減すること。
• ハッシュコードの局所的構造と離散的性質を保持することで、検索品質を向上させること。

提案手法

• すべてのカテゴリ間の意味的関係をモデル化するため、0/1形式のラベルベクトルを事前学習済みの意味的埋め込み空間（例：Word2VecやGloVe）に投影する。
• 視覚的特徴空間に近づけるように、埋め込み空間に対して回転操作を適用し、意味的シフトを低減する。
• ハッシュコード学習、意味的整合性、局所的データ構造の保持を同時に最適化するZSHモデルを定式化する。
• 学習目的関数に離散最適化制約を組み込むことで、ハッシュコードの離散的性質を強制する。
• 収束を保証するように、ハッシュコードと埋め込みパラメータを交互に更新するための逐次最適化アルゴリズムを用いる。
• ハッシュ関数の学習とゼロショット検索タスクの評価に、補助データセット（例：ImageNet）を活用する。

実験結果

リサーチクエスチョン

• RQ1 学習済み画像カテゴリからの教師あり知識を、未学習のカテゴリの検索を可能にするために効果的に転送できるか？
• RQ2 ラベル間の意味的関係をどのようにモデル化すれば、未学習クラスへの一般化性能が向上するか？
• RQ3 埋め込み空間の回転による意味的整合性によって、視覚的特徴と高レベルの意味的特徴の間の意味的ギャップはどの程度低減できるか？
• RQ4 ハッシュコードの局所的構造と離散的性質を保持することは、ゼロショット設定における検索性能を向上させるか？
• RQ5 多様な実世界のデータセットにおいて、ZSHはゼロショット画像検索における最先端のハッシング手法と比べてどのように差をつけるか？

主な発見

• ZSHは、全テストデータセットで最高の平均平均精度（MAP）を達成し、MIRFlickrデータセットにおける128ビットコード長さで、2番目に優れた手法（COSDISH）と比較して19%の向上を達成した。
• CIFAR-10データセットでは、32ビットコード長さでMAPが0.3262に達し、関連画像の精度（Precision@related）においても、2番目に優れた手法を顕著に上回った。
• 全データセットにおいて、さまざまなコード長さにおいてMAPおよび精度の両面で一貫した優位性を示したが、64ビットを超えるとノイズ増加に伴い性能が低下した。
• 回転を施した意味的埋め込み空間の使用により、意味的シフトの問題が軽減され、視覚的特徴とラベルの意味的特徴の間の整合性が向上した。
• ZSHは、重複するタグを持つ画像が存在する実生活のマルチラベルデータ（MIRFlickr）においても強力な性能を維持した。これは、実用的応用性を裏付けるものである。
• 交互最適化アルゴリズムは、実験的に収束性と効率性を示し、ZSHモデルの効果的な学習を可能にした。