[논문 리뷰] Discriminative Embeddings of Latent Variable Models for Structured Data

Hanjun Dai, Bo Dai외 1명|arXiv (Cornell University)|2016. 03. 17.

Machine Learning and Data Classification참고 문헌 53인용 수 373

한 줄 요약

이 논문은 구조화된 데이터를 위한 latent variable 그래프 모델의 확장 가능한 판별 임베딩인 structure2vec를 소개하며, 시퀀스, 트리, 그래프에 대한 분류 및 회귀를 위해 end-to-end로 표현 학습을 가능하게 하는 평균장(mean-field) 및 루프 Belief Propagation에서 영감을 받은 업데이트를 사용한다.

ABSTRACT

Kernel classifiers and regressors designed for structured data, such as sequences, trees and graphs, have significantly advanced a number of interdisciplinary areas such as computational biology and drug design. Typically, kernels are designed beforehand for a data type which either exploit statistics of the structures or make use of probabilistic generative models, and then a discriminative classifier is learned based on the kernels via convex optimization. However, such an elegant two-stage approach also limited kernel methods from scaling up to millions of data points, and exploiting discriminative information to learn feature representations. We propose, structure2vec, an effective and scalable approach for structured data representation based on the idea of embedding latent variable models into feature spaces, and learning such feature spaces using discriminative information. Interestingly, structure2vec extracts features by performing a sequence of function mappings in a way similar to graphical model inference procedures, such as mean field and belief propagation. In applications involving millions of data points, we showed that structure2vec runs 2 times faster, produces models which are $10,000$ times smaller, while at the same time achieving the state-of-the-art predictive performance.

연구 동기 및 목표

• 전통 BOS 커널이 수백만 개의 포인트로 확장될 때 구조화된 데이터에 대한 확장 가능한 학습을 동기 부여합니다.
• 잠재변수 포스트eriors를 유한 차원 특징 공간으로 임베딩하는 판별 임베딩 프레임워크(structure2vec)를 제안합니다.
• 감독 신호를 이용해 엔드-투-엔드로 학습 가능한 평균장 및 루프 Belief Propagation 영감의 임베딩 업데이트를 개발합니다.
• 이 접근 방식이 중간 규모 및 매우 큰 규모의 구조화된 데이터 세트에서 컴팩트한 모델과 경쟁력 있는 최첨단 정확도를 얻는지 보여줍니다.]
• method:[

제안 방법

• 각 구조화된 데이터 포인트를 관찰 가능한 노드 속성과 숨겨진 변수들을 가진 잠재 변수 그래프 모델로 모델링합니다.
• 포스트eriors marginals p(H_i | data)을 특징 맵 phi를 통해 유한 차원 특징 공간으로 임베딩하여 mu_i를 생성합니다.
• 임베딩 업데이트를 평균장 또는 루프 BP 업데이트에서 영감을 얻은 신경망 스타일의 비선형 변환으로 표현합니다(예: mu_i = sigma(W1 x_i + W2 sum_{j in N(i)} mu_j)).
• 판별 손실(회귀의 제곱 손실, 분류의 소프트맥스 크로스 엔트로피)을 최소화하여 임베딩 변환 T와 최종 예측기를 엔드-투-엔드로 학습합니다.
• 스케일링을 위해 확률적 경사 하강법을 사용하고 큰 커널 행렬을 피하기 위한 소형 명시적 특징 맵을 사용합니다.

실험 결과

연구 질문

• RQ1 구조화된 데이터에 대한 잠재 변수 그래프 모델을 수백만 개의 인스턴스까지 확장 가능한 판별적이고 학습 가능한 특징 공간으로 임베딩할 수 있는가?
• RQ2 평균장 및 루피 BP-inspired 임베딩이 고정 BOS 및 GM 커널과 비교했을 때 구조화된 데이터 작업에서 예측 성능이 경쟁력이 있는가?
• RQ3 임베딩과 최종 예측기의 엔드-투-엔드 학습이 중간 규모 및 대규모 데이터 세트에서 더 작은 모델과 동등하거나 우수한 정확도를 달성할 수 있는가?

주요 결과

데이터 세트	방법	AUC
FC_RES	kmer-single	0.7713 ± 0.0208
FC_RES	kmer-concat	0.7576 ± 0.0235
FC_RES	mismatch	0.7690 ± 0.0197
FC_RES	fisher	0.7332 ± 0.0314
FC_RES	DE-MF	0.7713 ± 0.0208
FC_RES	DE-LBP	0.7701 ± 0.0225
SCOP	kmer-single	0.7097 ± 0.0504
SCOP	kmer-concat	0.8467 ± 0.0489
SCOP	mismatch	0.8637 ± 0.1192
SCOP	fisher	0.8662 ± 0.0879
SCOP	DE-MF	0.9068 ± 0.0685
SCOP	DE-LBP	0.9167 ± 0.0639

• Structure2vec 변형(DE-MF 및 DE-LBP)이 문자열 벤치마크에서 AUC 기준으로 접두사 커널 베이스라인을 능가합니다.
• 문자열 데이터 세트에서 DE-MF는 0.7713 AUC(FC_RES) 및 0.9068 AUC(SCOP)에서 DE-LBP는 0.9167 AUC를 달성했습니다.
• 그래프 벤치마크에서 Structure2vec 변형은 여러 그래프 커널(예: subtree, random walk, WL 커널)과 대등한 정확도를 보였습니다.
• 이 방법은 Harvard Clean Energy Project 데이터세트처럼 수백만 개의 샘플이 있는 매우 큰 데이터 세트에서 학습 속도와 모델 크기 측면에서 큰 이점으로 효율적으로 동작하며 경쟁력 있는 정확도를 유지합니다.
• 임베디드 평균장 및 루프 Belief Propagation 업데이트는 엔드-투-엔드 판별 학습이 가능한 신경망 모듈로 구현되었습니다.