[論文レビュー] Learning Discrete Representations via Information Maximizing Self-Augmented Training

Weihua Hu, Takeru Miyato+3 more|arXiv (Cornell University)|Feb 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 172

ひとこと要約

IMSAT はデータ拡張を通じて不変性を強制する情報最大化と自己拡張訓練を組み合わせることで離散表現を学習し、最先端のクラスタリングと教師なしハッシュ化の結果を達成します。

ABSTRACT

Learning discrete representations of data is a central machine learning task because of the compactness of the representations and ease of interpretation. The task includes clustering and hash learning as special cases. Deep neural networks are promising to be used because they can model the non-linearity of data and scale to large datasets. However, their model complexity is huge, and therefore, we need to carefully regularize the networks in order to learn useful representations that exhibit intended invariance for applications of interest. To this end, we propose a method called Information Maximizing Self-Augmented Training (IMSAT). In IMSAT, we use data augmentation to impose the invariance on discrete representations. More specifically, we encourage the predicted representations of augmented data points to be close to those of the original data points in an end-to-end fashion. At the same time, we maximize the information-theoretic dependency between data and their predicted discrete representations. Extensive experiments on benchmark datasets show that IMSAT produces state-of-the-art results for both clustering and unsupervised hash learning.

研究の動機と目的

• クラスタリングとハッシュ学習のための圧縮され解釈可能な離散表現を学習する動機付け。
• データ拡張を通じて不変性を誘発するよう深層ネットワークを正則化する。
• 入力と離散表現間の情報を最大化しつつ、モデルの複雑さを制御する。
• 大規模データセットにスケールするエンドツーエンドの訓練を提供する。

提案手法

• 深層ニューラルネットワークを用いて、マルチ次元の離散表現に対して正則化情報最大化(RIM)を拡張する。
• 元データと拡張データの表現間の差を罰する自己拡張訓練(SAT)を導入する。
• 離散出力 Y=(Y1,...,YM) を、x を与えた条件付き独立としてモデル化する: pθ(y1,...,yM|x)=∏m pθ(ym|x)。
• 分類器を正則化しつつ、エントロピー項 H(Y) および H(Y|X) を組み込み、X と Y の相互情報量を最大化する。
• クラスタリングでは、KL[pθ(y)||q(y)]≤δ の制約を課して、事前分布 q(y) に合わせ、クラスタサイズの均一性を目標とする。
• ハッシュ学習のため、情報量を、情報価値が高く非冗長なビットを促進するよう、扱いやすいペアワイズ相互作用情報展開で近似する。
• スケーラビリティのためにミニバッチ対応の近似を提供する。）

実験結果

リサーチクエスチョン

• RQ1 情報最大化を組み込んだエンドツーエンドの深層学習フレームワークは、監視なしでクラスタリングとハッシュ学習のための有効な離散表現を学習できるか？
• RQ2 データ拡張に基づく正則化（SAT）は、特定の変換に対して不変な表現を生み出し、教師なし学習の性能を向上させるか？
• RQ3 VAT風の摂動を他の拡張戦略と比較した場合、クラスタリングとハッシュの品質にどのような影響があるか？
• RQ4 IMSATは大規模データセットおよび異なるデータドメイン（画像、テキストなど）にどの程度スケールするか？

主な発見

• VAT正則化を用いたIMSATは、8つのベンチマークデータセットで強力なクラスタリング性能を発揮し、しばしばK-means、DEC、dAE+K-meansなどのベースラインを上回る。
• OmniglotではSATに仮定変換を取り入れるとクラスタリング精度が大幅に向上（例: VATで24.0、アフィンで45.1、VAT+アフィンで70.0）
• ハッシュ化では、VAT付きIMSATは競争力のある16ビット結果を示し、より大きなネットワーク（例: 400-400）がMNISTとCIFAR10で高い性能を発揮する。
• 表の結果は、IMSAT（VAT）がMNISTで98.4%、Omniglotで24.0%、STLで94.1%、CIFAR10で45.6%などのクラスタリング精度を達成していることを示す（他のベースラインと比較）。
• この手法はエンドツーエンドの深層表現とSATベースの正則化から恩恵を受け、線形変種を上回り、RPTベースの変種よりも性能を示す。