[논문 리뷰] Inference in Deep Networks in High Dimensions

Alyson K. Fletcher, Sundeep Rangan|arXiv (Cornell University)|2017. 06. 20.

Gaussian Processes and Bayesian Inference참고 문헌 41인용 수 11

한 줄 요약

이 논문은 매개변수를 알고 있는 딥 네ural 네트워크를 위한 계산적으로 효율적인 추론 알고리즘인 다층 벡터 근사 메시지 전파(ML-VAMP)를 제안한다. 이 알고리즘은 출력에서 입력과 은닉 유닛을 정확하게 추정할 수 있으며, 무작위이자 정규직교 불변 성질을 가진 가중치 행렬을 가진 고차원 설정에서 이론적으로 최적의 평균 제곱오차 성능을 달성한다.

ABSTRACT

Deep generative networks provide a powerful tool for modeling complex data in a wide range of applications. In inverse problems that use these networks as generative priors on data, one must often perform inference of the inputs of the networks from the outputs. Inference is also required for sampling during stochastic training on these generative models. This paper considers inference in a deep stochastic neural network where the parameters (e.g., weights, biases and activation functions) are known and the problem is to estimate the values of the input and hidden units from the output. While several approximate algorithms have been proposed for this task, there are few analytic tools that can provide rigorous guarantees in the reconstruction error. This work presents a novel and computationally tractable output-to-input inference method called Multi-Layer Vector Approximate Message Passing (ML-VAMP). The proposed algorithm, derived from expectation propagation, extends earlier AMP methods that are known to achieve the replica predictions for optimality in simple linear inverse problems. Our main contribution shows that the mean-squared error (MSE) of ML-VAMP can be exactly predicted in a certain large system limit (LSL) where the numbers of layers is fixed and weight matrices are random and orthogonally-invariant with dimensions that grow to infinity. ML-VAMP is thus a principled method for output-to-input inference in deep networks with a rigorous and precise performance achievability result in high dimensions.

연구 동기 및 목표

• 알려진 매개변수를 가진 딥 생성 네트워크에서 추론 성능을 평가하기 위한 엄밀한 분석 도구의 부족을 해결하기 위해.
• 고차원 극한에서 정확한 평균 제곱오차 예측을 제공하는 계산적으로 타당한 추론 방법을 개발하기 위해.
• 비선형성과 임의의 가중치 행렬을 가진 다층 딥 네트워크로 벡터 근사 메시지 전파(VAMP)를 확장하기 위해.
• 기존 AMP가 조건수(κ)가 높은 행렬에서 수렴 실패를 겪는 문제를 정규직교 불변 가중치 구조를 사용함으로써 해결하기 위해.
• 역문제 및 생성 모델링에서 히وري스틱 추론 방법(예: MAP 및 SGLD)에 대한 원칙적인 대안을 제공하기 위해.

제안 방법

• ML-VAMP는 기대치 전파에서 유도되며, 다중 층과 비선형 활성 함수를 가진 딥 스토케스틱 네트워크로 VAMP 프레임워크를 확장한다.
• 알고리즘은 네트워크를 통과하는 반복적인 전진 및 역방향 전파를 수행하며, 각 층에 맞게 조정된 노이즈 제거 함수를 사용해 입력과 은닉 유닛의 추정치를 갱신한다.
• 비독립 동일분포가 아닌 가중치 행렬, 특히 일반적인 조건수를 가진 행렬을 다룰 수 있도록 벡터 AMP 프레임워크를 활용한다. 이러한 행렬은 종종 표준 AMP의 수렴을 파괴한다.
• 각 층에 대해 분석적 노이즈 제거 함수를 사용하며, 시그모이드 출력층은 타당성을 확보하기 위해 프로빗 함수로 근사한다.
• 수렴은 각 전체 반복이 전진 및 역방향 한 번의 전파로 구성되며, 반복의 절반 단계에서 정규화된 평균 제곱오차(NMSE)를 모니터링하여 확인한다.
• 이론적 성능는 층 수가 고정되고 가중치 행렬이 정규직교 불변 분포를 가진 크기가 증가하는 대규모 시스템 극한에서 검증된다.

실험 결과

연구 질문

• RQ1 고차원 점근적 설정 하에서, 메시지 전파 알고리즘이 복잡한 네트워크 추론에서 복제 예측 최적 평균 제곱오차를 달성할 수 있는가?
• RQ2 표준 AMP와 달리, 조건수(κ)가 높은 가중치 행렬에서도 ML-VAMP는 수렴성과 정확성을 유지하는가?
• RQ3 이미지 복원 작업에서 ML-VAMP는 재구성 정확도와 수렴 속도 측면에서 MAP 및 SGLD와 비교해 어떻게 성능을 내는가?
• RQ4 고차원 극한에서 고정된 층 수와 임의의 정규직교 불변 가중치 행렬을 가진 설정에서 ML-VAMP의 평균 제곱오차를 정확히 예측할 수 있는가?
• RQ5 ReLU 및 시그모이드 활성화 함수를 가진 MNIST와 같은 실세계 데이터에 적용했을 때 ML-VAMP의 성능는 어떠한가?

주요 결과

• 고정된 층 수와 임의의 정규직교 불변 가중치 행렬을 가진 고차원 극한에서 ML-VAMP는 복제 예측 최적 평균 제곱오차를 달성한다.
• 조건수(κ=10)가 높은 행렬에서의 시뮬레이션에서 ML-VAMP는 수렴하며 낮은 오차를 유지하지만, 표준 AMP는 이러한 조건에서 실패한다.
• MNIST 복원 작업에서 ML-VAMP는 재구성 정확도에서 MAP 및 SGLD를 모두 뛰어넘으며, 약 10~20회 반복 후 더 낮은 정규화된 평균 제곱오차(NMSE)를 기록한다.
• 알고리즘은 빠르게 수렴하며, MNIST 실험에서 약 10회 반복 후 좋은 성능가 관찰된다.
• 시그모이드 출력층에 대해 프로빗 근사를 사용함으로써 성능 손실 없이 분석적 타당성을 확보할 수 있다.
• 비례 극한에서 ML-VAMP의 NMSE는 이론적으로 정확히 예측되며, 이는 분석적 프레임워크의 타당성을 검증한다.