[論文レビュー] SCH-GAN: Semi-supervised Cross-modal Hashing by Generative Adversarial Network

Jian Zhang, Yuxin Peng+1 more|arXiv (Cornell University)|Feb 7, 2018

Advanced Image and Video Retrieval Techniques参考文献 40被引用数 4

ひとこと要約

本稿では、生成的敵対ネットワークを用いて未ラベルデータを活用し、ハードでマージン付きの正例を生成することで、クロスモーダルリtrievalの性能を向上させる半教師付きクロスモーダルハッシング手法SCH-GANを提案する。生成モデルは敵対的に有用な例を選択し、識別モデルはそれらを区別するように学習する。NUSWIDE、Wikipedia、MIRFlickrの各データセットで最先端の性能を達成し、MAPスコアは最大0.758に達する。

ABSTRACT

Cross-modal hashing aims to map heterogeneous multimedia data into a common Hamming space, which can realize fast and flexible retrieval across different modalities. Supervised cross-modal hashing methods have achieved considerable progress by incorporating semantic side information. However, they mainly have two limitations: (1) Heavily rely on large-scale labeled cross-modal training data which are labor intensive and hard to obtain. (2) Ignore the rich information contained in the large amount of unlabeled data across different modalities, especially the margin examples that are easily to be incorrectly retrieved, which can help to model the correlations. To address these problems, in this paper we propose a novel Semi-supervised Cross-Modal Hashing approach by Generative Adversarial Network (SCH-GAN). We aim to take advantage of GAN's ability for modeling data distributions to promote cross-modal hashing learning in an adversarial way. The main contributions can be summarized as follows: (1) We propose a novel generative adversarial network for cross-modal hashing. In our proposed SCH-GAN, the generative model tries to select margin examples of one modality from unlabeled data when giving a query of another modality. While the discriminative model tries to distinguish the selected examples and true positive examples of the query. These two models play a minimax game so that the generative model can promote the hashing performance of discriminative model. (2) We propose a reinforcement learning based algorithm to drive the training of proposed SCH-GAN. The generative model takes the correlation score predicted by discriminative model as a reward, and tries to select the examples close to the margin to promote discriminative model by maximizing the margin between positive and negative data. Experiments on 3 widely-used datasets verify the effectiveness of our proposed approach.

研究の動機と目的

• 教師ありクロスモーダルハッシングの限界、特に高コストなラベル付きデータに依存し、未ラベルデータを十分に活用できない点を是正すること。
• 特に別のモダリティからのマージン例を含む大規模な未ラベルデータに内在する豊富な構造的情報を活用し、ハッシング性能を向上させること。
• 生成モデルをハードで有用な例に対して敵対的に訓練することで、識別的学習を強化する半教師付きフレームワークを構築すること。
• 強化学習をGANの学習プロセスに統合し、識別モデルの相関スコアに基づいて報酬を与えることで、生成モデルの性能を向上させること。

提案手法

• クエリが1つのモダリティから与えられた際、生成モデルが未ラベルデータからマージン付き正例を選択する、新しいGANベースのフレームワークを設計する。
• 識別モデルは、クエリと生成例の相関を評価し、真の正例とは区別する。
• 2つのモデルはミニマックスゲームを展開し、生成モデルは識別モデルをより困難に挑戦するように選択を改善することで、識別モデルのロバスト性を高める。
• 強化学習により生成モデルの学習を駆動する：報酬信号は識別モデルが予測する相関スコアであり、分類マージン付近の例の選択を促進する。
• 三重項ランク損失を用いて識別モデルを最適化し、正例が負例よりもハミング空間で近くなるように保証する。
• 敵対的および対照的目的を統合してエンドツーエンドで訓練することで、効果的なクロスモーダル埋め込み学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 生成的敵対ネットワークは、未ラベルデータを効果的に活用してクロスモーダルハッシングの性能を向上させることができるか？
• RQ2 未ラベルデータからのマージン例を用いた敵対的訓練は、識別モデルが正例と負例のペアを区別する能力を向上させることができるか？
• RQ3 識別モデルのフィードバックに基づく強化学習を統合することで、クロスモーダルハッシングにおけるハード例の生成品質が向上するか？
• RQ4 提案手法SCH-GANは、最先端の教師ありおよび非教師ありクロスモーダルハッシング手法と比較して、リtrieval精度において優れているか？

主な発見

• NUSWIDEデータセットにおいて、SCH-GANは、画像からテキストへのリtrievalでMAPを0.505から0.730へ、テキストから画像へのリtrievalで0.490から0.758へ向上させた。これは、最も優れた非教師あり手法CCQと比較した結果である。
• SCH-GANは、最も優れた教師あり手法SePHを上回り、画像からテキストへのリtrievalで平均MAPを0.715から0.730へ0.015向上させ、テキストから画像へのリtrievalで0.654から0.758へ0.104向上させた。
• 深層学習ベースの手法DCMHと比較すると、SCH-GANは画像からテキストへのリtrievalでMAPを0.652から0.730へ、テキストから画像へのリtrievalで0.696から0.758へ向上させた。
• アブレーションスタディの結果、敵対的訓練が性能向上に顕著に寄与しており、SCH-GANは3つのデータセットすべてで敵対的訓練を行わないベースライン手法Disを一貫して上回っている。
• 精度-再現率曲線およびトップ-K精度の結果から、SCH-GANは3つのデータセットすべてで最高の精度を達成しており、そのロバスト性と有効性を確認した。
• 学習過程では、生成モデルの更新後に識別モデルの精度が向上しており、生成モデルが識別モデルの一般化性能を向上させる有用でハードな例を効果的に選択していることが示された。