[논문 리뷰] A probabilistic framework for multi-view feature learning with many-to-many associations via neural networks

Akifumi Okuno, Tetsuya Hada외 1명|arXiv (Cornell University)|2018. 02. 13.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 비선형 특성 변환과 다수의 데이터 뷰 간의 다대다 관계를 동시에 모델링할 수 있는 신경망 기반 프레임워크인 확률적 다중뷰 그래프 임베딩(PMvGE)을 제안한다. 미니배치 확률적 경사하강법(minibatch SGD)를 사용하는 가능도 기반 목적함수를 통해, 임bedded된 특성 벡터의 내적을 통해 유연한 유사도 측정을 학습하며, 기존의 다중뷰 표현 학습 방법들을 능가한다. 이는 CCA, CDMCA 및 그래프 임베딩 기법들을 일반화한다.

ABSTRACT

A simple framework Probabilistic Multi-view Graph Embedding (PMvGE) is proposed for multi-view feature learning with many-to-many associations so that it generalizes various existing multi-view methods. PMvGE is a probabilistic model for predicting new associations via graph embedding of the nodes of data vectors with links of their associations. Multi-view data vectors with many-to-many associations are transformed by neural networks to feature vectors in a shared space, and the probability of new association between two data vectors is modeled by the inner product of their feature vectors. While existing multi-view feature learning techniques can treat only either of many-to-many association or non-linear transformation, PMvGE can treat both simultaneously. By combining Mercer's theorem and the universal approximation theorem, we prove that PMvGE learns a wide class of similarity measures across views. Our likelihood-based estimator enables efficient computation of non-linear transformations of data vectors in large-scale datasets by minibatch SGD, and numerical experiments illustrate that PMvGE outperforms existing multi-view methods.

연구 동기 및 목표

• 기존의 다중뷰 방법들이 동시에 비선형 변환과 복잡한 다대다 관계를 처리할 수 없는 한계를 해결하기 위해.
• 표준 상관분석(CCA), 다중뷰 CCA(MCCA), 그리고 CDMCA 및 SGE와 같은 그래프 임베딩 방법을 일반화하는 통합된 확률적 프레임워크를 개발하기 위해.
• 효율적인 미니배치 SGD 최적화를 사용하는 가능도 기반 추정기로 새로운 데이터 포인트에 대한 유도적 특성 학습을 가능하게 하기 위해.
• 유니버설 근사 정리와 머서의 정리를 통해 PMvGE가 뷰 간에 광범위한 유사도 측정법을 학습할 수 있음을 증명하기 위해.

제안 방법

• PMvGE는 다중뷰 데이터 벡터를 공유된 특성 공간으로 매핑하기 위해 신경망을 사용하며, 여기서 관계는 임bedded된 벡터의 내적을 통해 모델링된다.
• 프레임워크는 가능도 기반 목적함수를 사용하여 비선형 변환를 추정하고, 이를 통해 미니배치 확률적 경사하강법(SGD)을 통한 효율적인 훈련을 가능하게 한다.
• 임의의 뷰 수(Nv = D), 비선형 매핑(NL), 다대다 관계(MM), 그리고 유도적 추론(Ind)을 허용함으로써 CCA와 CDMCA를 일반화한다.
• PMvGE가 뷰 간에 광범위한 유사도 측정법을 모델링할 수 있음을 증명하기 위해 머서의 정리와 유니버설 근사 정리를 통합한다.
• 효율적인 최적화를 위해 로그가능도의 이차근사값을 유도하며, 대각행렬로 표현된 공분산 행렬을 통한 회전 불변성 제약 조건을 도입한다.
• 최종 해는 정규화된 그래프 라플라시안에 대한 일반화된 고유값 문제로 유도되며, 특성 벡터는 고유값으로 스케일링되어 해석 가능성을 유지한다.

실험 결과

연구 질문

• RQ1 비선형 변환과 다중뷰 데이터 간의 다대다 관계를 동시에 처리할 수 있는 통합된 확률적 프레임워크를 개발할 수 있는가?
• RQ2 PMvGE의 가능도 기반 목적함수는 대규모 데이터셋에서 미니배치 SGD를 사용해 어떻게 효율적으로 최적화될 수 있는가?
• RQ3 PMvGE는 CCA, CDMCA, GCN 등의 기존 다중뷰 및 그래프 임베딩 방법들을 어느 정도 일반화하는가?
• RQ4 PMvGE는 뷰 간의 유사도 측정법 학습에 대해 어떤 이론적 보장을 제공하는가?
• RQ5 PMvGE의 성능은 다중뷰 표현 학습 과제에서 최신 기법들과 비교해 어떻게 되는가?

주요 결과

• PMvGE는 CCA, CDMCA, GCN, GraphSAGE를 포함한 13개의 기존 다중뷰 및 그래프 임베딩 방법을 지원함으로써 일반화한다. 이는 임의의 뷰 수, 비선형성, 다대다 관계, 그리고 유도적 추론을 모두 수용한다.
• 수치 실험에서 프레임워크는 기존의 다중뷰 방법들을 능가하는 성능을 보이며, 강건하고 이식 가능한 특성 표현을 학습하는 데 성공한다.
• 가능도 기반 추정기는 미니배치 SGD를 사용하여 대규모 데이터셋에서의 효율적 훈련을 가능하게 하여, 이론적 확장성을 확보한다.
• 이론적 분석 결과, 머서의 정리와 유니버설 근사 정리의 조합 덕분에 PMvGE는 광범위한 유사도 측정법을 학습할 수 있음을 입증한다.
• 해는 스케일링 인자까지 고려하면 수정된 CDMCA 방법과 동일하며, 특성 벡터는 정규화된 그래프 라플라시안의 고유값의 제곱근으로 스케일링된다.
• 이 방법은 공유된 공간에서 회전 불변성을 유지하며, 그래프 라플라시안 행렬의 일반화된 고유분해를 통해 최적의 해가 유도된다.