[論文レビュー] Nonlinear Statistical Learning with Truncated Gaussian Graphical Models

Qinliang Su, Xuejun Liao+2 more|arXiv (Cornell University)|Jun 2, 2016

Gaussian Processes and Bayesian Inference参考文献 28被引用数 9

ひとこと要約

本稿では、ガウス graphical モデルにおける潜在変数の切断を用いることで非線形な統計的依存関係を誘導する、新たなフレームワークである切断ガウス graphical モデル（TGGM）を提案する。これらの切断された潜在変数を統合することで、観測変数上の周辺分布は非ガウス的かつ非線形的となり、期待最大化（EM）を用いた効率的な推論が可能になり、ベンチマーク上の回帰および分類タスクでReLUベースのニューラルネットワークを上回る性能を発揮する。

ABSTRACT

We introduce the truncated Gaussian graphical model (TGGM) as a novel framework for designing statistical models for nonlinear learning. A TGGM is a Gaussian graphical model (GGM) with a subset of variables truncated to be nonnegative. The truncated variables are assumed latent and integrated out to induce a marginal model. We show that the variables in the marginal model are non-Gaussian distributed and their expected relations are nonlinear. We use expectation-maximization to break the inference of the nonlinear model into a sequence of TGGM inference problems, each of which is efficiently solved by using the properties and numerical methods of multivariate Gaussian distributions. We use the TGGM to design models for nonlinear regression and classification, with the performances of these models demonstrated on extensive benchmark datasets and compared to state-of-the-art competing results.

研究の動機と目的

• ガウス graphical モデル（GGM）に内在する線形性の制限を克服し、現実世界のデータに見られる複雑な非線形的依存関係をモデル化できるようにすること。
• ガウス分布の計算的利点を維持しつつ、潜在変数の切断によって非ガウス的かつ非線形の周辺分布を実現する、取り扱い可能な非線形モデルの開発。
• 期待最大化（EM）アルゴリズムと多次元ガウス分布の良好な数値的性質を活用することで、非線形モデルのための効率的な推論を可能にすること。
• 非線形回帰および分類タスクにおけるTGGMの実用的有効性を示し、最先端の手法を上回ること。

提案手法

• 標準的なGGMにおける潜在変数に非負制約を課えることで、切断ガウス graphical モデル（TGGM）を導入し、結合分布を切断多次元ガウス分布に変換する。
• 切断された潜在変数を統合することで、観測変数上の非ガウス的周辺分布を獲得し、非線形な統計的依存関係を誘導する。
• 期待最大化（EM）アルゴリズムを用い、各ステップを既存の多次元ガウス手法で解ける取り扱いやすいTGGM推論問題に分解することで、推論を段階的に実行する。
• 元のGGMの精度行列を用いて条件付き依存構造を符号化し、多様な応用に適した柔軟なモデル設計を可能にする。
• バックプロパゲーション（TGGM-BP）と最尤推定（TGGM-ML）の両方を用いてTGGMを学習し、後者は切断ガウス仮定下でのより良い尤度推定を提供する。
• 1層または2層の隠れ層を持つ深層TGGMアーキテクチャを構築し、切断によって誘導されるReLUに類似した活性化関数を用い、標準ベンチマークデータセット上で評価する。

実験結果

リサーチクエスチョン

• RQ1 ガウス graphical モデルにおける潜在変数の切断によって、観測変数上の非線形周辺分布を生成できるか？
• RQ2 得られるTGGMフレームワークが、EMアルゴリズムと既存の多次元ガウス手法を用いて効率的かつ取り扱いやすい推論を可能にするか？
• RQ3 TGGMベースのモデルは、非線形回帰および分類タスクにおいて、特にReLUベースのネットワークと比較してどのように性能を発揮するか？
• RQ4 切断ガウス仮定下での最尤推定は、TGGMにおいてバックプロパゲーションよりも優れた性能をもたらすか？
• RQ5 TGGMは深層アーキテクチャに拡張可能であり、実世界のベンチマークデータセットに効果的に応用可能か？

主な発見

• TGGM-BPは20 NewsGroupsおよびBlogデータセットにおいて、それぞれ73.65%および67.50%のテスト精度を達成し、ReLUネットワークの72.8%および65.86%を上回った。
• TGGM-MLは2隠れ層モデルを用いてMNISTで98.31%の精度を達成し、最高のReLU結果（98.04%）を上回った。
• Blogデータセットでは、1隠れ層モデルでTGGM-MLが69.89%の精度を達成し、最高のReLU結果（67.93%）を上回った。
• TGGMフレームワークは、潜在変数の切断によって非ガウス的かつ非線形の周辺分布を誘導し、標準的なGGMよりも豊かなモデル化を可能にする。
• EMに基づく推論フレームワークは、既存のガウス手法を用いて取り扱いやすいTGGM推論ステップに問題を分解することで、効率的な学習を可能にする。
• 深層アーキテクチャと学習可能な精度行列を備えたTGGMは、ReLUに類似した活性化関数を持つ決定的ニューラルネットワークと見なすことができ、その優れた実験的性能を説明する。