[論文レビュー] Variational Deep Semantic Hashing for Text Documents

Suthee Chaidaroon, Yi Fang|arXiv (Cornell University)|Aug 11, 2017

Advanced Image and Video Retrieval Techniques参考文献 24被引用数 6

ひとこと要約

本稿では、変分推論と再パrameterizationを活用して、テキストドキュメントのためのコンパクトなバイナリコードを学習する、変分的深層意味的ハッシュ化（VDSH）を提案する。ドキュメントを共有される意味的要因とドキュメント固有のプライベート変数から生成するとモデル化することで、特にラベルのガイドランスがある教師あり設定において、意味的ハッシュ化の分野で最先端の性能を達成する。

ABSTRACT

As the amount of textual data has been rapidly increasing over the past decade, efficient similarity search methods have become a crucial component of large-scale information retrieval systems. A popular strategy is to represent original data samples by compact binary codes through hashing. A spectrum of machine learning methods have been utilized, but they often lack expressiveness and flexibility in modeling to learn effective representations. The recent advances of deep learning in a wide range of applications has demonstrated its capability to learn robust and powerful feature representations for complex data. Especially, deep generative models naturally combine the expressiveness of probabilistic generative models with the high capacity of deep neural networks, which is very suitable for text modeling. However, little work has leveraged the recent progress in deep learning for text hashing. In this paper, we propose a series of novel deep document generative models for text hashing. The first proposed model is unsupervised while the second one is supervised by utilizing document labels/tags for hashing. The third model further considers document-specific factors that affect the generation of words. The probabilistic generative formulation of the proposed models provides a principled framework for model extension, uncertainty estimation, simulation, and interpretability. Based on variational inference and reparameterization, the proposed models can be interpreted as encoder-decoder deep neural networks and thus they are capable of learning complex nonlinear distributed representations of the original documents. We conduct a comprehensive set of experiments on four public testbeds. The experimental results have demonstrated the effectiveness of the proposed supervised learning models for text hashing.

研究の動機と目的

• 従来のハッシング手法がテキストドキュメントの表現を表現力豊かで柔軟に学習する点に課題を抱えているのを是正すること。
• スケーラブルで解釈可能なテキストハッシングのため、深層生成モデルと変分推論を統合すること。
• ドキュメントラベルとプライベートな潜在変数を組み込むことで、ノイズを低減し、表現品質を向上させることで、意味的ハッシュの性能を向上させること。
• 不確実性推定、モデル拡張、解釈可能性の分野において、原則的フレームワークを提供すること。

提案手法

• ドキュメントの単語が共有される意味的要因とドキュメント固有のプライベート要因から生成される、変分オートエンコーダー（VAE）に基づく深層生成モデルを提案する。
• 再パラメータライゼーションを用いた変分推論により、バックプロパゲーションによるエンドツーエンド学習を可能にする。
• ドキュメント、ラベル、潜在変数の同時確率をモデル化し、潜在要因にガウス事前分布を設定した生成プロセスに分解する。
• 目的関数における扱いにくい期待値を近似するためにモンテカルロサンプリングを用い、確率的最適化を可能にする。
• 再構成損失、ラベル予測損失、意味的およびプライベートな潜在変数の両方のKLダイバージェンス項を含む、微分可能な下界（ELBO）を導出する。
• 再パラメータライゼーショントリックを適用し、潜在変数を $\bm{s}^{(m)} = \bm{\epsilon}_s^{(m)} \odot \bm{\sigma}_s + \bm{\mu}_s$ としてサンプリングすることで、確率的ノードを介したバックプロパゲーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 変分推論を用いた深層生成モデルは、従来のハッシング手法に比べ、テキストドキュメントのためのコンパクトで効果的なバイナリコードを学習する点で優れているか？
• RQ2 ドキュメントラベルを組み込むことで、学習された意味的ハッシュの品質はどのように向上するか？
• RQ3 ドキュメント固有のプライベート要因をモデル化することで、表現のロバスト性が向上し、ノイズがどれほど低減されるか？
• RQ4 確率的生成フレームワークは、意味的ハッシュ化における不確実性推定、解釈可能性、モデル拡張をサポートできるか？

主な発見

• VDSHの教師ありバージョンは、4つの公開テキストハッシングベンチマークで最先端の性能を達成し、平均平均精度（mAP）の観点で、既存の手法を顕著に上回った。
• ドキュメントラベルを組み込むことでmAPが著しく向上し、意味的コードを学習するにあたり、監視信号の有効性が示された。
• プライベートな潜在変数を含むモデルは、それらを含まないモデルよりも優れた性能を示し、ドキュメント固有の要因をモデル化することでノイズ低減と一般化性能の向上が図れることを示した。
• 変分推論の使用により、エンドツーエンド学習が可能になり、不確実性の定量的評価とモデルの解釈可能性のための原則的フレームワークが提供された。
• 目的関数には再構成項とラベル予測項が含まれており、KLダイバージェンス正則化により、学習された潜在分布が事前分布に近づくように保証された。