[論文レビュー] Auto-Encoding Twin-Bottleneck Hashing

Yuming Shen, Jie Qin+6 more|arXiv (Cornell University)|Feb 27, 2020

Advanced Image and Video Retrieval Techniques参考文献 48被引用数 5

ひとこと要約

本稿では、二重ボトルネックを備えた生成的オートエンコーダー構造を用いて、二値符号学習と適応的グラフ構築を同時に最適化する、新しい非教師ありハッシングフレームワークであるTwin-Bottleneck Hashing (TBH) を提案する。二値符号を用いてハミング距離に基づく類似性グラフを動的に構築し、連続的潜在変数を用いて高精度な再構成を実現することで、二値制約を緩めることなく、確率的勾配降下法によるエンドツーエンド学習を可能にし、画像検索性能を最先端水準にまで向上させた。

ABSTRACT

Conventional unsupervised hashing methods usually take advantage of similarity graphs, which are either pre-computed in the high-dimensional space or obtained from random anchor points. On the one hand, existing methods uncouple the procedures of hash function learning and graph construction. On the other hand, graphs empirically built upon original data could introduce biased prior knowledge of data relevance, leading to sub-optimal retrieval performance. In this paper, we tackle the above problems by proposing an efficient and adaptive code-driven graph, which is updated by decoding in the context of an auto-encoder. Specifically, we introduce into our framework twin bottlenecks (i.e., latent variables) that exchange crucial information collaboratively. One bottleneck (i.e., binary codes) conveys the high-level intrinsic data structure captured by the code-driven graph to the other (i.e., continuous variables for low-level detail information), which in turn propagates the updated network feedback for the encoder to learn more discriminative binary codes. The auto-encoding learning objective literally rewards the code-driven graph to learn an optimal encoder. Moreover, the proposed model can be simply optimized by gradient descent without violating the binary constraints. Experiments on benchmarked datasets clearly show the superiority of our framework over the state-of-the-art hashing methods. Our source code can be found at https://github.com/ymcidence/TBH.

研究の動機と目的

• 非教師ありハッシングにおける「静的グラフ」問題に対処すること。これは、事前に計算されたまたはアンカーに基づく類似性グラフが偏った事前知識を導入し、性能を制限する要因となる。
• 生成的ハッシングにおける「劣化したBinBN」問題を克服すること。これは、二値ボトルネックからの直接復元により再構成品質が低下する問題である。
• ハッシュ関数学習とグラフ構築を一つのエンドツーエンド学習可能なフレームワークに統合し、交互最適化や緩和技術を回避すること。
• 二値制約を守りながら、離散的変数を通じた勾配推定を用いて勾配ベース最適化を可能にし、標準的SGDによる実用的学習を保証すること。

提案手法

• TBHは、識別的コード学習のための二値ボトルネック（BinBN）と、高容量再構成のための連続的ボトルネック（ConBN）を備えた二重ボトルネックオートエンコーダー構造を採用する。
• コード駆動型グラフは、式 (4) を用いて二値符号間のハミング距離から直接構築され、データ依存の適応的類似性モデリングを可能にする。
• グラフ畳み込みネットワーク（GCNs）を用いて、BinBNからConBNへとグラフ情報の伝搬を実現し、特徴表現学習を強化する。
• 再構成損失はConBNによって計算され、直接的な二値復元に比べてより多くのエントロピーを保持するため、復元品質が向上する。
• 離散的二値ボトルネックを通過する勾配をバックプロパゲートするために、分布的導出推定器が用いられ、緩和や交互最適化を必要とせずエンドツーエンド学習を可能にする。
• 全体の損失関数は、オートエンコーディング損失、 adversarial 損失、およびグラフ正則化項を組み合わせており、標準的確率的勾配降下法（SGD）で最適化される。

実験結果

リサーチクエスチョン

• RQ1 コード駆動型の適応的類似性グラフが、静的または事前計算されたグラフに代えて、非教師ありハッシング性能を向上させることができるか？
• RQ2 二重ボトルネックアーキテクチャが、生成的ハッシングモデルにおける「劣化したBinBN」問題を効果的に解決できるか？
• RQ3 二値制約を緩めることなく、離散変数を通じた勾配推定を用いて、二値符号のエンドツーエンド学習が可能か？
• RQ4 ハッシュ関数学習とグラフ構築の共同最適化は、従来の交互最適化や緩和手法と比較して、どのように優れているか？

主な発見

• TBHはベンチマークデータセットで最先端の性能を達成し、既存の非教師ありハッシング手法を上回る画像検索性能を示した。
• コード駆動型グラフを削除したベースライン（baseline_6）では性能が約9%低下し、データ構造のモデリングにおいてその重要性が確認された。
• 二重ボトルネック設計は、単一ボトルネックベースラインと比較して再構成誤差を低減しており、「劣化したBinBN」問題の緩和効果が裏付けられた。
• ハイパーパramータの変化に対してもモデルは頑健であり、ボトルネック次元Lを64にまで低下させても、性能の著しい低下は見られなかった。
• 定性的な結果では、コード駆動型グラフがラベルベース類似性をよく再現しており、t-SNE可視化では意味的に類似したクラスがハミング空間内で近接して分離していることが確認された。
• MNISTにおける画像再構成結果では、SGHと比較してTBHがより詳細な画像特徴を保持しており、再構成された数字の誤分類が少ないことが示された。