[논문 리뷰] Constructing the Matrix Multilayer Perceptron and its Application to the VAE

Jalil Taghia, Maria Bånkestad외 2명|arXiv (Cornell University)|2019. 02. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 4

한 줄 요약

이 논문은 비유클리드 기하학을 von Neumann 발산과 새로운 α-미분 기반 역전파를 통해 SPD 다양체의 기하학을 매핑함으로써 대칭 양의 정부호(SPD) 행렬을 학습하는 행렬 다층퍼셉트론(mMLP)이라는 딥 뉴럴 네트워크 아키텍처를 소개한다. mMLP는 인식 및 생성 네트워크에서 조밀한 공분산 행렬을 갖는 유연한 변분 오토에인코더(VAE)를 가능하게 하여 과적합 없이도 우수한 우도와 분리도를 달성한다.

ABSTRACT

Like most learning algorithms, the multilayer perceptrons (MLP) is designed to learn a vector of parameters from data. However, in certain scenarios we are interested in learning structured parameters (predictions) in the form of symmetric positive definite matrices. Here, we introduce a variant of the MLP, referred to as the matrix MLP, that is specialized at learning symmetric positive definite matrices. We also present an application of the model within the context of the variational autoencoder (VAE). Our formulation of the VAE extends the vanilla formulation to the cases where the recognition and the generative networks can be from the parametric family of distributions with dense covariance matrices. Two specific examples are discussed in more detail: the dense covariance Gaussian and its generalization, the power exponential distribution. Our new developments are illustrated using both synthetic and real data.

연구 동기 및 목표

• 표준 MLP가 제약 조건을 강제하지 못함으로써 깊이 있는 학습에서 구조적 대칭 양의 정부호(SPD) 행렬을 학습하는 데 어려움을 겪는 문제를 해결하기 위해.
• 모든 계층에서 내재적으로 SPD 제약 조건을 준수하는 신경망 아키텍처를 개발하여 잘못된 출력을 방지하기 위해.
• 변분 오토에인코더(VAE) 프레임워크를 확장하여 조밀한 공분산 행렬을 갖는 가변 가족을 지원함으로써 모델의 유연성을 향상시키기 위해.
• 인식 및 생성 네트워크에서 모두 조합 가능한, SPD 기반 분포(예: 다변수 정규분포 및 파wr 지수 분포)를 갖는 VAE를 엔드 투 엔드로 훈련할 수 있도록 하기 위해.
• 합성 및 실제 데이터에서 mMLP의 효과성을 입증하여 우도 향상과 의미 있는 잠재공간 분리도를 보여주기 위해.

제안 방법

• 각 계층에서 정의된 양의 정부호 커널 함수를 사용하여 출력 행렬이 대칭적이고 양의 정부호임을 보장한다.
• SPD 다양체의 리만 기하학을 존중하기 위해 von Neumann 발산을 손실 함수로 사용한다.
• α-미분(Magnus, 2010)을 활용한 새로운 역전파 알고리즘을 유도하여 모든 계층에서 SPD 구조를 유지하는 기울기 계산을 가능하게 한다.
• mMLP는 인식 및 생성 네트워크의 표준 MLP를 대체하기 위해 VAE 프레임워크에 통합된다.
• 생성 및 추론 모델은 mMLP로 매개변수화되어 조밀한 공분산 행렬을 모델링하며, ELBO를 최적화하여 VAE 목표를 달성한다.
• 두 가지 핵심 분포를 지원한다: 전체 공분산을 갖는 다변수 정규분포와 다변수 파워 지수 분포(mPE)로, 대각선 또는 낮은 질량 가정을 초월한 더 높은 유연성을 제공한다.

실험 결과

연구 질문

• RQ1 비유클리드 기하학을 유지하면서도 모든 계층에서 대칭 양의 정부호(SPD) 행렬을 학습할 수 있는 딥 뉴럴 네트워크를 설계할 수 있는가?
• RQ2 딥 네트워크의 모든 계층에서 SPD 제약 조건을 유지하기 위해 역전파를 어떻게 적응시킬 수 있는가?
• RQ3 VAE의 인식 및 생성 네트워크에서 조밀한 공분산 행렬을 허용함으로써 모델의 우도와 분리도가 향상되는가?
• RQ4 인식 네트워크의 유연성 증가와 생성 네트워크의 유연성 증가 중 어느 쪽이 VAE 성능에 더 큰 영향을 미치는가?
• RQ5 mMLP는 계산 가능성을 유지하면서도 실제 데이터에 효과적으로 적용될 수 있는가? 과적합은 발생하지 않는가?

주요 결과

• PD 커널과 α-미분 기반 역전파를 사용하여 mMLP는 모든 계층에서 SPD 제약 조건을 성공적으로 강제하여 모든 단계에서 유효한 행렬 출력을 보장한다.
• 가장 높은 유연성의 모델 버전인, 인식 및 생성 네트워크 양쪽에 모두 전체 공분산을 갖는 mPE-mPE 모델이 가장 높은 우도와 가장 큰 KLD를 기록하여 잠재공간에서 효과적인 정보 코딩을 보였다.
• mPE 기반의 인식 및 생성 네트워크를 갖는 모델가 정규분포 기반의 변형보다 우도와 분리도에서 뛰어난 성능을 보여 유연한 가변 가족의 이점을 입증했다.
• 모델의 유연성 증가에도 불구하고 과적합의 징후가 관찰되지 않아 복잡한 공분산 구조 하에서도 강건한 일반화 능력을 보였다.
• mPE-mPE 모델에서 사용된 높은 분산 추정기(식 14)는 다소 열악한 성능을 초래했을 수 있으며, 이는 이러한 민감한 모델에서 추정의 민감성에 주목할 필요가 있음을 시사한다.
• mMLP는 합성 및 실제 데이터 모두에서 SPD 행렬을 효과적으로 학습할 수 있었으며, 샘플 생성 결과는 잠재공간에 의미 있는 구조가 존재함을 보여주었다.