[論文レビュー] Generative Semantic Hashing Enhanced via Boltzmann Machines

Lin Zheng, Qinliang Su+2 more|arXiv (Cornell University)|Jun 16, 2020

Advanced Image and Video Retrieval Techniques参考文献 28被引用数 4

ひとこと要約

本論文は、変分事後分布としてボルツマン機械を用いることで、ハッシュコードのビット間の相関を導入する、新しい生成的意味的ハッシュ化モデルを提案する。従来の手法が仮定する独立性の制約を克服し、再パrameterizationと漸近的に正確なELBO下界の導出により、効率的なエンドツーエンド学習が可能となり、コード長が延長されても性能が低下しない状態で、複数のベンチマークで最先端の検索性能を達成する。

ABSTRACT

Generative semantic hashing is a promising technique for large-scale information retrieval thanks to its fast retrieval speed and small memory footprint. For the tractability of training, existing generative-hashing methods mostly assume a factorized form for the posterior distribution, enforcing independence among the bits of hash codes. From the perspectives of both model representation and code space size, independence is always not the best assumption. In this paper, to introduce correlations among the bits of hash codes, we propose to employ the distribution of Boltzmann machine as the variational posterior. To address the intractability issue of training, we first develop an approximate method to reparameterize the distribution of a Boltzmann machine by augmenting it as a hierarchical concatenation of a Gaussian-like distribution and a Bernoulli distribution. Based on that, an asymptotically-exact lower bound is further derived for the evidence lower bound (ELBO). With these novel techniques, the entire model can be optimized efficiently. Extensive experimental results demonstrate that by effectively modeling correlations among different bits within a hash code, our model can achieve significant performance gains.

研究の動機と目的

• 既存の生成的意味的ハッシュ化モデルにおける独立ビット仮定の制限を解消し、表現能力とコード空間の効率性を向上させること。
• ハッシュコードビット間の複雑な相関を効果的にモデル化することで、意味的表現の質を向上させること。
• 正規化定数の問題により、通常は扱いにくいボルツマン機械に基づく変分事後分布の、実行可能な学習手法を開発すること。
• ラベルなしでエンドツーエンドの学習を可能にしつつ、計算効率を維持する意味的ハッシュ化モデルの構築。

提案手法

• ハッシュコードビット間の依存関係をモデル化するために、非因子化された変分事後分布としてボルツマン機械分布を採用する。
• 勾配ベース最適化が可能となるよう、ボルツマン分布をガウス型分布とベルヌーイ分布の階層的連結として再定式化する。
• ボルツマン機械における正規化定数の非可解性に対処するため、尤度下界（ELBO）の漸近的に正確な下界を導出する。
• モデルの複雑さと計算コストのバランスを取るために、ガウス成分の共分散行列に低ランク摂動を適用する。
• 事後分布の近似にk個の成分の混合分布を用い、kが増加するにつれて下界のタイトさが向上する。
• 再パラメータライズド勾配と導出されたELBO下界を用いて、バックプロパゲーションによるエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ハッシュコードビット間の相関をモデル化することで、生成的意味的ハッシュ化における検索性能が向上するか？
• RQ2 ボルツマン機械事後分布における非可解な正規化定数を、効率的な学習にどう対処できるか？
• RQ3 ビット間の構造的依存関係を導入することで、コード長が延長されても性能劣化が生じないか？
• RQ4 ボルツマン機械に基づく非因子化事後分布は、勾配ベース最適化に適切に再パラメータライズ可能か？
• RQ5 ハイパーパrameter v（低ランク次元）とk（混合成分数）が、モデル性能とトレードオフに与える影響は何か？

主な発見

• 提案モデルは、3つの公開データセットすべてにおいて、比較対象の全モデルよりも高い検索精度を達成し、64ビットコードを用いたReutersデータセットでは0.8465の精度を記録した。
• ランクパラメータvの増加に伴い性能が単調に向上し、特にv=0からv=1の間で最大の向上が観察された。これは、低次の相関でさえも顕著な利益をもたらすことを示している。
• コード長が延長されても、独立ビットモデルで一般的に見られる性能劣化を回避し、性能を維持または向上させる。
• 混合成分数kを増やすことで、ELBO下界がタイトになり、検索精度も向上する。k=10が最良の性能を達成した。
• v=10かつk=10のモデルは、Reutersで0.8465の精度を達成し、NASH（v=0のとき0.7812）を著しく上回り、v>10ではほとんど改善が見られなかった。
• 20Newsgroupsにおける可視化では、提案モデルが意味的に分離性の高いハッシュコードを生成しており、カテゴリごとに明確なクラスタが形成された。