[論文レビュー] Inducing Interpretable Representations with Variational Autoencoders

N. Siddharth, Brooks Paige+6 more|arXiv (Cornell University)|Nov 22, 2016

Topic Modeling参考文献 11被引用数 7

ひとこと要約

本稿では、変分オートエンコーダー（VAEs）の識別ネットワークに構造的グラフィカルモデルを統合するフレームワークを提案する。これにより、分離可能で解釈可能な潜在表現が得られる。近似的な変分推論と少数のラベル付き例を用いた半教師あり学習を用いることで、最先端の分類精度を達成し、視覚的類似性と定量的誤差低減を通じて明確な分離性を示している。

ABSTRACT

We develop a framework for incorporating structured graphical models in the \emph{encoders} of variational autoencoders (VAEs) that allows us to induce interpretable representations through approximate variational inference. This allows us to both perform reasoning (e.g. classification) under the structural constraints of a given graphical model, and use deep generative models to deal with messy, high-dimensional domains where it is often difficult to model all the variation. Learning in this framework is carried out end-to-end with a variational objective, applying to both unsupervised and semi-supervised schemes.

研究の動機と目的

• 高次元の知覚的データにおいて、解釈可能で分離可能な表現を学習する課題に対処すること。
• 柔軟で制約のない近似的事後分布のおかげで、潜在変数が解釈不能となる標準的なVAEsにおけるエンタングルメント問題を克服すること。
• 変分推論を用いて、構造的潜在空間を持つ深層生成モデルをエンドツーエンドで訓練可能にする。
• 少数のラベル付き例を用いても、構造的推論と組み合わせることで、潜在表現を効果的に分離できることを示すこと。
• 構造的潜在空間とその対応する推論ネットワークを指定できる柔軟で拡張可能なフレームワークを提供すること。

提案手法

• 標準的な正規近似を置き換えるために、VAEsの認識ネットワーク（推論モデル）として構造的グラフィカルモデルを統合する。
• 生成モデル $p_\theta(\mathbf{x}, \mathbf{z})$ と認識モデル $q_\phi(\mathbf{z}|\mathbf{x})$ の両方を同時に最適化するための1つの変分目的関数を用いる。
• 確率的バックプロパゲーションを用いて、エビデンス下界（ELBO）を最適化し、確率的ノードを介したバックプロパゲーションによるエンドツーエンド学習を可能にする。
• 訓練の安定性と性能向上のため、認識ネットワークにプラグイン推定器を用いる。
• ラベル付きデータを再サンプリングするための監視レートを導入し、最小限のラベル付きデータで効果的な半教師あり学習を可能にする。
• 構造的潜在空間を持つ深層生成モデルとその対応する推論ネットワークの指定を簡素化するため、カスタムTorchパッケージを活用する。

実験結果

リサーチクエスチョン

• RQ1 VAEのエンコーダーに構造的グラフィカルモデルを組み込むことで、分離可能で解釈可能な潜在表現が得られるか？
• RQ2 少数のラベル付き例しか利用できない状況でも、このフレームワークは半教師あり学習においてどの程度効果的か？
• RQ3 個々の潜在変数を操作することで、意味のある視覚的類似性を生成でき、分離性が裏付けられるか？
• RQ4 分類精度の観点から、Kingmaら[7]のような先行研究の最先端手法と比較して、本手法の性能はどの程度か？
• RQ5 監視レートが、最小限のラベル付きデータで潜在表現の分離能力にどの程度影響を与えるか？

主な発見

• MNISTデータセットでは、1クラスあたり100個のラベル付き例を用いた場合、本手法はテスト誤差率4.23%を達成し、同じアーキテクチャと学習設定を用いたベースライン「M2」モデル（誤差率3.60%）を上回る性能を示した。
• SVHNデータセットでは、1クラスあたり300個のラベル付き例を用いた場合、本手法はテスト誤差率23.98%を達成し、ベースライン「M1+M2」（誤差率36.02%）を顕著に上回った。
• 1クラスあたり10個のラベル付き例と1%の監視レートを用いた場合、監視なしの場合と比較して誤差率が50%以上低下し、優れたデータ効率を示した。
• 図3の視覚的類似性では、ラベル変数 $l$ のみを変更すると数字の種別が変化する一方でスタイルは保持され、スタイル変数 $n$ を変化させると筆跡のスタイルが変化するが数字の識別は保持される。これにより、分離性が確認された。
• 低監視レートでも10個のラベル付き例を用いるだけで誤差率が急激に低下するため、最小限の監視でも効果的な分離が可能であることが示された。
• MNISTおよびSVHNの両データセットにおいて、半教師あり設定下で最先端の性能を達成し、定量的精度と定性的な分離性の両面で、先行手法に一貫して優れた改善を示した。