[論文レビュー] Discriminative Embeddings of Latent Variable Models for Structured Data

Hanjun Dai, Bo Dai+1 more|arXiv (Cornell University)|Mar 17, 2016

Machine Learning and Data Classification参考文献 53被引用数 373

ひとこと要約

この論文は、平均場推論とルーピー belief propagation に触発された更新を用い、シーケンス・ツリー・グラフに対する分類・回帰のためのエンドツーエンド学習可能な表現を学習する、構造化データのための構造化2ベク（structure2vec）というスケーラブルな判別埋め込みを導入する。

ABSTRACT

Kernel classifiers and regressors designed for structured data, such as sequences, trees and graphs, have significantly advanced a number of interdisciplinary areas such as computational biology and drug design. Typically, kernels are designed beforehand for a data type which either exploit statistics of the structures or make use of probabilistic generative models, and then a discriminative classifier is learned based on the kernels via convex optimization. However, such an elegant two-stage approach also limited kernel methods from scaling up to millions of data points, and exploiting discriminative information to learn feature representations. We propose, structure2vec, an effective and scalable approach for structured data representation based on the idea of embedding latent variable models into feature spaces, and learning such feature spaces using discriminative information. Interestingly, structure2vec extracts features by performing a sequence of function mappings in a way similar to graphical model inference procedures, such as mean field and belief propagation. In applications involving millions of data points, we showed that structure2vec runs 2 times faster, produces models which are $10,000$ times smaller, while at the same time achieving the state-of-the-art predictive performance.

研究の動機と目的

• 従来の BOS カーネルが数百万点にスケールする際に生じる問題を抱える構造化データのスケーラブルな学習を動機づける。
• 潜在変数後側を有限次元の特徴空間に埋め込む判別埋め込みフレームワーク（structure2vec）を提案する。
• 監督付きでエンドツーエンド学習可能な平均場・ルーピー Belief Propagation に触発した埋め込み変換を開発する。
• このアプローチが中規模および非常に大規模な構造化データセットにおいてコンパクトなモデルと競争力のある最新精度をもたらすことを示す。

提案手法

• 構造化データ点ごとに観測ノード属性と隠れ変数を持つ潜在変数グラフィカルモデルとしてモデル化する。
• 後部周辺分布 p(H_i | data) を特徴写像 φ によって有限次元の特徴空間へ埋め込み、mu_i を生成する。
• 埋め込み更新を平均場またはルーピー BP 更新に触発されたニューラルネット風の非線形写像として表現する（例：mu_i = σ(W1 x_i + W2 ∑_{j in N(i)} mu_j)）。
• 判別損失（回帰は二乗損失、分類はソフトマックスを用いた交差エントロピー）を最小化することで埋め込み変換 T と最終予測子をエンドツーエンドで学習する。
• スケーラビリティのため確率的勾配降下法を用い、大規模なカーネル行列を避けるための小さな明示的特徴写像を使用する。

実験結果

リサーチクエスチョン

• RQ1 構造化データの潜在変数グラフィカルモデルを、百万件規模までスケールする判別可能で学習可能な特徴空間へ埋め込むことは可能か？
• RQ2 平均場とルーピー BP に触発された埋め込みは、固定 BOS および GM カーネルと比較して構造化データタスクで競争力のある予測精度を提供するか？
• RQ3 埋め込みと最終予測子のエンドツーエンド訓練により、中規模〜大規模データセットでより小さなモデルと同等または優れた精度を達成できるか？

主な発見

データセット	手法	AUC
FC_RES	kmer-single	0.7713 ± 0.0208
FC_RES	kmer-concat	0.7576 ± 0.0235
FC_RES	mismatch	0.7690 ± 0.0197
FC_RES	fisher	0.7332 ± 0.0314
FC_RES	DE-MF	0.7713 ± 0.0208
FC_RES	DE-LBP	0.7701 ± 0.0225
SCOP	kmer-single	0.7097 ± 0.0504
SCOP	kmer-concat	0.8467 ± 0.0489
SCOP	mismatch	0.8637 ± 0.1192
SCOP	fisher	0.8662 ± 0.0879
SCOP	DE-MF	0.9068 ± 0.0685
SCOP	DE-LBP	0.9167 ± 0.0639

• Structure2vec の派生（DE-MF および DE-LBP）は、AUC における文字列ベンチマークでプレフィックスカーネルのベースラインを上回る。
• 文字列データセットでは、DE-MF が 0.7713 AUC（FC_RES）および 0.9068 AUC（SCOP）、DE-LBP が 0.9167 AUC（SCOP）を達成。
• グラフベンチマークでは、structure2vec の派生がサブツリー、ランダムウォーク、WL カーネルなどの複数のグラフカーネルと競合する精度を示す。
• Harvard Clean Energy Project データセットのような百万件規模の非常に大規模データセットでも効率的に処理でき、トレーニングが速く、モデルは非常に小さく抑えつつ競争力のある精度を維持する。
• 埋め込み平均場とルーピー BP の更新はニューラルネットワーク風のモジュールとして実装され、エンドツーエンドの判別訓練を可能にする。