[論文レビュー] Semi-supervised Hashing for Semi-Paired Cross-View Retrieval

Jun Yu, Xiao‐Jun Wu+1 more|arXiv (Cornell University)|Jun 19, 2018

Advanced Image and Video Retrieval Techniques参考文献 10被引用数 3

ひとこと要約

本論文は、部分的ラベル情報を利用して特徴抽出と分類を共同で学習する半教師付きハッシングフレームワークを提案し、半ペairedなクロスビュー検索を実現する。ラベルありデータとラベルなしデータの両方を活用することで、最先端の手法と比較して2つのベンチマークデータセットで優れた検索精度を達成する。

ABSTRACT

Recently, hashing techniques have gained importance in large-scale retrieval tasks because of their retrieval speed. Most of the existing cross-view frameworks assume that data are well paired. However, the fully-paired multiview situation is not universal in real applications. The aim of the method proposed in this paper is to learn the hashing function for semi-paired cross-view retrieval tasks. To utilize the label information of partial data, we propose a semi-supervised hashing learning framework which jointly performs feature extraction and classifier learning. The experimental results on two datasets show that our method outperforms several state-of-the-art methods in terms of retrieval accuracy.

研究の動機と目的

• 完全にペア化されたデータを仮定する従来のクロスビューハッシング手法の制限を解消すること。
• 一部のデータペアしか利用できない状況でも効果的な検索を可能にすること。
• 限られたラベル付きデータと豊富なラベルなしデータを活用してハッシング関数の学習を改善すること。
• 特徴抽出と分類器学習を統合的に最適化するフレームワークを構築し、検索性能を向上させること。
• 半ペairedなクロスビュー検索タスクにおいて、最先端の手法を上回る高い検索精度を達成すること。

提案手法

• 特徴学習と分類器学習を統合した共同最適化プロセスを備えた半教師付きハッシングフレームワークを提案する。
• データの一部から得られる部分的ラベル情報を活用してハッシング関数の学習をガイドする。
• ペア化されたサンプル間の意味的類似性を保持するとともに、複数の視点間での特徴を整合させるように学習目的を定式化する。
• ハッシングネットワークと同時に学習される分類器ヘッドを導入し、識別能を向上させる。
• 対照学習、分類、正則化の項を組み合わせた損失関数を用いて、モデルをエンドツーエンドで最適化する。
• 深層ニューラルネットワークを用いて複数の視点からの深層特徴を抽出し、その後にバイナリコードを生成する。

実験結果

リサーチクエスチョン

• RQ1 部分的なデータペアしか存在しない半ペairedなクロスビュー検索において、半教師付きハッシングフレームワークが効果的に機能するか？
• RQ2 特徴と分類器の共同学習は、独立した学習と比較して、どのように検索精度を向上させるか？
• RQ3 低監視環境下で部分的ラベル情報を利用することで、性能がどの程度向上するか？
• RQ4 本手法は、完全ペア化または無教師ベースラインと比較して、半ペairedな状況下でも優れているか？
• RQ5 異なるデータセット（ペア化率が異なる）において、本手法の頑健性はどの程度か？

主な発見

• 提案手法は、2つのベンチマークデータセットにおいて、最先端の手法と比較してより高い平均平均精度（mAP）を達成した。
• ラベル付きデータの割合が非常に少ない状況でも、顕著な性能向上を示し、半教師付き学習の有効性を裏付けた。
• 特徴学習と分類器学習を共同で最適化することで、分離して訓練する場合と比較して、より識別性の高いハッシュコードが得られた。
• ラベルの不足に強く、限られたラベル付きデータでも安定した性能を維持した。
• 実験結果から、本フレームワークは半ペairedな検索環境下で、既存のクロスビューハッシング手法を上回ることが確認された。
• アブレーションスタディにより、半教師付き損失と共同学習のコンponentsの両方が性能向上に顕著な寄与をしていることが検証された。