[論文レビュー] Learning Discrete Structured Representations by Adversarially Maximizing Mutual Information

Karl Stratos, Sam Wiseman|arXiv (Cornell University)|Apr 8, 2020

Digital Media Forensic Detection被引用数 6

ひとこと要約

本稿では、教師なしデータから離散的構造的表現を学ぶ手法を提案する。構造的潜在変数と目的変数の間の相互情報量を敵対的に最大化することで実現する。敵対的訓練と二値符号のマルコフ分布を用いた、計算可能な相互情報量推定手法を導入し、高圧縮かつ解釈可能な表現を実現することで、ドキュメントハッシングにおいて最先端の性能を達成した。

ABSTRACT

We propose learning discrete structured representations from unlabeled data by maximizing the mutual information between a structured latent variable and a target variable. Calculating mutual information is intractable in this setting. Our key technical contribution is an adversarial objective that can be used to tractably estimate mutual information assuming only the feasibility of cross entropy calculation. We develop a concrete realization of this general formulation with Markov distributions over binary encodings. We report critical and unexpected findings on practical aspects of the objective such as the choice of variational priors. We apply our model on document hashing and show that it outperforms current best baselines based on discrete and vector quantized variational autoencoders. It also yields highly compressed interpretable representations.

研究の動機と目的

• 教師なしデータから意味のある離散的構造的表現を学ぶこと。
• 構造的潜在変数モデルにおける相互情報量計算の非可解性に対処すること。
• 交差エントロピー計算のみを用いて、計算可能な敵対的目的関数を設計し、相互情報量を推定すること。
• 離散的かつ解釈可能な符号を用いた表現学習タスク（例：ドキュメントハッシング）の性能を向上させること。
• モデル性能に顕著な影響を与える実用的設計選択（例：変分事前分布）を検討すること。

提案手法

• 本手法は、構造的潜在変数と目的変数の間の相互情報量を近似するために敵対的目的関数を用いる。
• 相互情報量の計算が計算可能であることを前提とし、交差エントロピー計算の可能性を活用して推定を容易にする。
• 具体的な実装では、二値符号のマルコフ分布を用いて構造的潜在空間をモデル化する。
• 生成器は離散的符号を生成し、識別器は実際のサンプルと生成されたサンプルを区別する。
• 訓練目的関数は敵対的学習により最適化され、識別器が表現品質の向上に向けた信号を提供する。
• このアプローチにより、高圧縮で解釈可能な離散的表現を生成するエンドツーエンドのモデル訓練が可能になる。

実験結果

リサーチクエスチョン

• RQ1 正確な計算が非可解である状況下で、構造的離散的潜在空間における相互情報量を効果的に最大化する方法は何か？
• RQ2 異なる変分事前分布の選択が、学習された離散的表現の品質に与える影響は何か？
• RQ3 敵対的訓練は、表現学習における標準的な相互情報量推定の代替手段として、計算可能かつ効果的であるか？
• RQ4 学習された離散的表現は、圧縮性と下流タスクでの性能面で、既存のベースラインと比較してどう異なるか？
• RQ5 アーキテクチャや事前分布の選択といった実用的設計選択は、モデル性能にどのように顕著に影響を与えるか？

主な発見

• 提案手法は、離散的かつベクトル量子化された変分オートエンコーダーに基づく現在の最先端のベースラインを、ドキュメントハッシングにおいて上回った。
• モデルは高圧縮かつ解釈可能な表現を生成し、効率的な保存と検索を可能にした。
• 変分事前分布の選択に関して、予期しないが重要な影響が示され、モデル性能に顕著な影響を与えた。
• 正確な計算が非可解であるにもかかわらず、敵対的目的関数により、効果的な相互情報量最大化が可能になった。
• 最小限のアーキテクチャ的仮定のもとで、交差エントロピーの計算可能性に依存するのみで、強力な性能を達成した。
• 学習された表現はコンパクトでありながら意味的にも意味を持つことが示され、実世界の検索タスクにおける実用性を示した。