[論文レビュー] Coupled CycleGAN: Unsupervised Hashing Network for Cross-Modal Retrieval

Chao Li, Cheng Deng+3 more|arXiv (Cornell University)|Mar 6, 2019

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

本稿では、ラベルなしデータを必要とせず、クロスモーダル検索のための共有表現と信頼性の高いハッシュコードを同時に学習する、非教師付きカップルドサイクル GAN フレームワーク UCH を提案する。外部サイクル GAN を用いた表現学習と内部サイクル GAN を用いたハッシュコード生成を統合することで、エンド・ツー・エンド最適化が可能となり、MIRFlickr25k、IAPR TC-12、COCO データセットにおいて、64ビットコード長で最高の MAP スコア 0.679 を達成した。

ABSTRACT

In recent years, hashing has attracted more and more attention owing to its superior capacity of low storage cost and high query efficiency in large-scale cross-modal retrieval. Benefiting from deep leaning, continuously compelling results in cross-modal retrieval community have been achieved. However, existing deep cross-modal hashing methods either rely on amounts of labeled information or have no ability to learn an accuracy correlation between different modalities. In this paper, we proposed Unsupervised coupled Cycle generative adversarial Hashing networks (UCH), for cross-modal retrieval, where outer-cycle network is used to learn powerful common representation, and inner-cycle network is explained to generate reliable hash codes. Specifically, our proposed UCH seamlessly couples these two networks with generative adversarial mechanism, which can be optimized simultaneously to learn representation and hash codes. Extensive experiments on three popular benchmark datasets show that the proposed UCH outperforms the state-of-the-art unsupervised cross-modal hashing methods.

研究の動機と目的

• 既存の非教師付きクロスモーダルハッシング手法が表現とハッシュコードを別々に学習するため、相関関係の最適化が不十分になるという制限を解消すること。
• ラベル付きデータへの依存を排除することで、共有表現とコンパクトなバイナリコードのエンド・ツー・エンド学習を可能にすること。
• 二重サイクル GAN アーキテクチャを用いて表現学習とハッシュコード生成を結合することで、検索精度を向上させること。
• 統一されたフレームワーク内で相互最適化を実現することで、表現学習とハッシング学習の両方で最適なパフォーマンスを達成すること。
• 非教師あり設定下で、標準ベンチマークデータセットにおいて優れた性能を示すことを目的とする。

提案手法

• フレームワークは、画像およびテキストエンコーダー（E^I, E^T）、生成器（G^{I→T}_f, G^{T→I}_f）、識別器（D^I_f, D^T_f）から構成される外部サイクル GAN を用い、モダリティに依存しない共有表現を学習する。
• 内部サイクル GAN は、生成器（G^{I→T}_z, G^{T→I}_z）と識別器（D^T_z, D^I_z）から構成され、共有表現から信頼性の高いバイナリハッシュコードを生成する。
• 二重サイクルネットワークは、生成的敵対的メカニズムを介して共同最適化され、表現学習とハッシュコード生成を同期させるエンド・ツー・エンド学習が可能となる。
• モデルは、明示的なラベルがなくても、ペair単位の意味的類似性を保持するための三重項損失を用いる。
• 特徴抽出およびハッシュコード生成のため、256→128→32 などの全結合層を2層用い、画像用学習率は 10⁻⁴、テキスト用は 10⁻² を設定する。
• バッチサイズ 128、重み減衰 10⁻¹ で学習し、Mean Average Precision (MAP) および Precision@1000 を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータを必要とせず、表現学習とハッシュコード生成を統合的に最適化する深層学習フレームワークは、クロスモーダル検索において実現可能か？
• RQ2 外部サイクルで表現学習、内部サイクルでハッシングを実行する二重サイクル GAN の結合が、分離的アプローチに比べて検索精度をどのように向上させるか？
• RQ3 提案手法は、標準ベンチマークにおいて、既存の非教師付きクロスモーダルハッシング手法をどの程度上回るか？
• RQ4 双方向的生成による相互相関の反復的・敵対的学習は、より正確で頑健なハッシュコードを生成するか？
• RQ5 異なるコード長および検索タスク（画像→テキスト、テキスト→画像）において、モデルの性能はどのように変化するか？

主な発見

• UCH は、MIRFlickr25k、IAPR TC-12、Microsoft COCO データセットにおいて、全コード長（16, 32, 64 ビット）で最高の Mean Average Precision (MAP) を達成した。
• MIRFlickr25k において、64ビットコード長で MAP 0.679 を達成し、UGACH（0.616）および他の最先端の非教師付き手法を顕著に上回った。
• IAPR TC-12 において、64ビットコード長で MAP 0.488 を達成し、UGACH（0.480）および他の競合手法を上回った。
• Precision@1000 のカーブから、全データセットおよび全コード長において、UCH はすべてのベースラインより一貫して高い精度を維持した。
• PR カーブは、ハミング距離 0 から 64 の全範囲で、UCH がより優れた検索パフォーマンスを達成していることを示した。
• アブレーション比較により、カップルドサイクル設計が、相互最適化を可能にすることで、表現の質とハッシュコードの信頼性を向上させることを確認した。