[論文レビュー] Nonparametric Variational Auto-encoders for Hierarchical Representation Learning

Prasoon Goyal, Zhiting Hu+3 more|arXiv (Cornell University)|Mar 21, 2017

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 39

ひとこと要約

本稿では、木構造的なベイジアン非パラメトリック事前分布、特にネストドチャイニーズレストランプロセス（nCRP）を深層ニューラルネットワークと組み合わせることで、潜在空間における柔軟で解釈可能な階層的表現を学習する階層的非パラメトリック変分オートエンコーダー（VAE-nCRP）を提案する。変分インファレンスに特化した最適化により、VAEのパラメータとnCRPの木構造を同時に最適化することで、データ駆動型の豊かな階層的構造を発見し、動画分類および検索タスクで最先端の性能を達成。クラスタリング精度と一般化性能が向上した。

ABSTRACT

The recently developed variational autoencoders (VAEs) have proved to be an effective confluence of the rich representational power of neural networks with Bayesian methods. However, most work on VAEs use a rather simple prior over the latent variables such as standard normal distribution, thereby restricting its applications to relatively simple phenomena. In this work, we propose hierarchical nonparametric variational autoencoders, which combines tree-structured Bayesian nonparametric priors with VAEs, to enable infinite flexibility of the latent representation space. Both the neural parameters and Bayesian priors are learned jointly using tailored variational inference. The resulting model induces a hierarchical structure of latent semantic concepts underlying the data corpus, and infers accurate representations of data instances. We apply our model in video representation learning. Our method is able to discover highly interpretable activity hierarchies, and obtain improved clustering accuracy and generalization capacity based on the learned rich representations.

研究の動機と目的

• 従来のVAEにおける固定されたパラメトリック事前分布の制限を克服し、表現能力を制限し、複雑な階層的データ構造を捉えられない問題に対処する。
• 事前にクラスタ数や階層レベルを定義せずに、潜在空間における意味的コンセプトの深く分岐する階層的構造を自動的に、データ駆動型に発見できるようにする。
• 深層ニューラルネットワークとベイジアン非パラメトリック事前分布を統合し、モデルパラメータと構造的事前分布の両方を統合的・エンドツーエンドで学習する。
• 階層的構造を通じてより豊かな表現を学習することにより、動画分類や検索などの下流タスクの性能を向上させる。
• 動画データを意味的な意味的階層に意味的に整理できる、解釈可能で教師なしのフレームワークを提供する。

提案手法

• 潜在空間に無限に深い分岐を持つ階層的構造を可能にするために、ネストドチャイニーズレストランプロセス（nCRP）を非パラメトリック事前分布として採用する。
• nCRP事前分布を深層ニューラルネットワークベースのVAEと統合し、エンコーダ/デコーダの重みと木構造を変分インファレンスにより同時に最適化可能にする。
• 訓練中に無限の木構造空間を探索可能にするために、特化したスプリット・マージMCMCプロセスを用いる。これにより、階層の動的な拡大が可能になる。
• 各データインスタンスに対して木構造上のパスの分布を割り当て、インスタンス固有の事前分布を生成し、潜在コードの学習を正則化する。
• 動画データに適用する際には、各動画をパスの混合としてモデル化し、フレームを潜在空間に埋め込み、意味的類似度に基づいてパスに割り当てる。
• ニューラルネットワークパラメータとnCRPパラメータを同時に推定するための変分インファレンス更新式を導出。これにより、自己調整可能なモデル容量が実現される。

実験結果

リサーチクエスチョン

• RQ1 nCRPのような非パラメトリック事前分布を深層VAEと効果的に統合することで、潜在成分の数を事前に固定せずに階層的表現を学習できるか？
• RQ2 ニューラルネットワークパラメータとベイジアン非パラメトリック事前分布を同時に学習することで、固定されたパラメトリック事前分布よりも優れた表現品質と一般化性能が得られるか？
• RQ3 得られたモデルは、動画のような複雑な順序データにおいて、解釈可能で多段階の意味的階層を発見できるか？
• RQ4 VAEにパラメトリック事前分布を用いたベースラインモデルと比較して、動画分類や検索などの下流タスクでどの程度の性能を示すか？
• RQ5 モデルの非パラメトリック性により、未観測データに一般化し、新しいクラスタを形成できる程度はどの程度か？

主な発見

• TRECVID MED 2011データセットにおいて、VAE-nCRPは42.4%という最高の全体分類精度を達成。K-means（32.4%）やVAE-GMM（38.5%）を上回った。
• 動画検索タスクでは、全クラスで最高のF-1スコア（42.4%）を記録。特にFishing（59.9%）やGetting_a_vehicle_unstuck（56.9%）といった重要なカテゴリで顕著に優れた性能を示した。
• モデルは非常に解釈可能な階層的構造を発見し、車両関連の活動を広いカテゴリにグループ化し、自転車修理や車輪修理といったサブタイプにまで細分化した。
• 定性的な分析により、学習された階層が意味的な抽象化を的確に捉えていることが確認された。上位レベルのノードは抽象的な概念を表し、下位レベルのノードは具体的な行動を捉えていた。
• テストデータの再構成においても、より良い一般化性能を示しており、階層的構造がデータの変動に対してより頑健で不変な表現を可能にしていることが示された。
• 統合最適化フレームワークにより、ニューラルパラメータと木構造的事前分布の両方を効果的に学習でき、手動でのチューニングなしにデータの複雑さに応じてモデル容量を適応的に調整できた。