[論文レビュー] Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and Self-Control Gradient Estimator

Siamak Zamani Dadaneh, Shahin Boluki+3 more|arXiv (Cornell University)|May 21, 2020

Advanced Image and Video Retrieval Techniques参考文献 13被引用数 2

ひとこと要約

本稿では、非微分可能なペアワイズ損失を直接最適化することで、クラス内類似性とクラス間相違性を強制する、バイナリーハッシュコードを最適化するための不偏かつ低分散勾配推定器を備えたベルヌーイ変分オートエンコーダを用いた、新しいペアワイズ教師ありハッシュフレームワークを提案する。この手法により、テキストデータにおける最先端のリtrieval精度を達成した。

ABSTRACT

Semantic hashing has become a crucial component of fast similarity search in many large-scale information retrieval systems, in particular, for text data. Variational auto-encoders (VAEs) with binary latent variables as hashing codes provide state-of-the-art performance in terms of precision for document retrieval. We propose a pairwise loss function with discrete latent VAE to reward within-class similarity and between-class dissimilarity for supervised hashing. Instead of solving the optimization relying on existing biased gradient estimators, an unbiased low-variance gradient estimator is adopted to optimize the hashing function by evaluating the non-differentiable loss function over two correlated sets of binary hashing codes to control the variance of gradient estimates. This new semantic hashing framework achieves superior performance compared to the state-of-the-arts, as demonstrated by our comprehensive experiments.

研究の動機と目的

• 大規模なテキストリtrievalにおける意味的ハッシュ性能を、教師ありペアワイズ制約を活用することで向上させること。
• 非微分可能な離散的ハッシュコードの最適化という課題に、不偏かつ低分散の勾配推定を用いること。
• 離散的VAEにおけるバイアスのある勾配推定器を、より正確な代替手段に置き換えることにより、ハッシュ関数の最適化を改善すること。
• 特化したペアワイズ損失関数を用いて、学習されたバイナリーコードにおけるクラス内類似性とクラス間相違性を向上させること。

提案手法

• バイナリーハッシュコードを生成するために、ベルヌーイ分布に従う潜在変数を備えた変分オートエンコーダを採用する。
• 同じクラスのサンプルが類似したコードを持つように、異なるクラスのサンプルが相違したコードを持つように、明示的に促進するペアワイズ損失関数を導入する。
• 非微分可能なバイナリーコードのための不偏かつ低分散の勾配を計算するために、自己制御勾配推定器を用いる。
• 相関のある2つのバイナリーコードのセットをサンプリングすることで勾配を評価し、最適化プロセスにおける分散を低減する。
• 微分可能なVAEのコンponentsを通じたバックプロパゲーションを用いてハッシュ関数をエンドツーエンド最適化するが、同時に離散的コード出力を維持する。

実験結果

リサーチクエスチョン

• RQ1 離散的潜在変数を用いたペアワイズ損失関数は、テキストリtrievalにおける教師ありハッシュ性能を向上させることができるか？
• RQ2 バイアスのない勾配推定器は、バイアスのある推定器と比較して、離散的ハッシュコードの最適化にどのように寄与するか？
• RQ3 自己制御勾配推定器は、ハッシュ用の離散的VAEの学習における分散をどの程度低減できるか？
• RQ4 提案フレームワークは、リtrieval精度という観点から、既存の最先端手法を上回る性能を示すか？

主な発見

• 提案手法は、テキストリtrieバルベンチマークにおいて、最先端の手法と比較して優れたリtrieval精度を達成した。
• 不偏かつ低分散の勾配推定器の使用により、離散的ハッシュコードの最適化がより安定的かつ効果的になった。
• ペアワイズ損失関数は、学習されたバイナリーコードにおけるクラス内類似性とクラス間相違性を効果的に向上させた。
• 特に精度指標の観点から、既存のVAEベースのハッシュ手法と比較して、本フレームワークは改善された性能を示した。