[논문 리뷰] Expectation Propagation for Neural Networks with Sparsity-promoting Priors

Pasi Jylänki, Aapo Nummenmaa외 1명|arXiv (Cornell University)|2013. 03. 27.

Gaussian Processes and Bayesian Inference참고 문헌 46인용 수 20

한 줄 요약

이 논문은 두 층으로 이루어진 신경망을 훈련하기 위한 기대값 전파(EP) 프레임워크를 제안하며, 가중치에 대한 희박성 유도 계층적 사전분포를 도입하여 모델 파라미터(가중치 스케일 및 잡음 분산 포함)에 대한 효율적인 근사 베이지안 추론을 가능하게 한다. 이 방법은 라플라스 근사와 MCMC 기반 기준보다 우수한 예측 성능과 과적합에 대한 강건성을 보이며, 앙상블 기반 희박 선형 모델과 유사한 계산 효율성을 확보한다. 다양한 사전분포, 예를 들어 라플라스 분포와 자동 관련성 결정(ARD) 정규분포를 포함한 탄력적인 사전분포를 지원한다.

ABSTRACT

We propose a novel approach for nonlinear regression using a two-layer neural network (NN) model structure with sparsity-favoring hierarchical priors on the network weights. We present an expectation propagation (EP) approach for approximate integration over the posterior distribution of the weights, the hierarchical scale parameters of the priors, and the residual scale. Using a factorized posterior approximation we derive a computationally efficient algorithm, whose complexity scales similarly to an ensemble of independent sparse linear models. The approach enables flexible definition of weight priors with different sparseness properties such as independent Laplace priors with a common scale parameter or Gaussian automatic relevance determination (ARD) priors with different relevance parameters for all inputs. The approach can be extended beyond standard activation functions and NN model structures to form flexible nonlinear predictors from multiple sparse linear models. The effects of the hierarchical priors and the predictive performance of the algorithm are assessed using both simulated and real-world data. Comparisons are made to two alternative models with ARD priors: a Gaussian process with a NN covariance function and marginal maximum a posteriori estimates of the relevance parameters, and a NN with Markov chain Monte Carlo integration over all the unknown model parameters.

연구 동기 및 목표

• 고차원 입력 특징을 갖는 신경망에서 과적합 문제를 해결하기 위해 계층적 사전분포를 통해 가중치 파라미터의 희박성을 유도한다.
• 계산 효율성이 높은 베이지안 추론 방법을 개발하여 비선형 모델에 대해 추정이 어려운 사후분포를 다루며, 라플라스 근사와 MCMC의 한계를 피한다.
• 라플라스 및 ARD 정규분포와 같은 계층적 사전분포를 통해 입력 특징의 중요도를 탄력적으로 모델링하고, 입력 특징에 대한 자동 관련성 결정을 가능하게 한다.
• 희박 신경망에서 하이퍼파rameter 학습을 위한 MCMC 및 점추정 방법의 확장 가능한 대안을 제공한다.
• 복잡한 비공액성 가능도와 계층적 사전분포를 갖는 비선형 모델로 기대값 전파의 적용 범위를 확장한다.

제안 방법

• 기대값 전파(EP)를 사용하여 신경망 가중치, 계층적 스케일 파라미터, 잔차 분산에 대한 사후분포를 근사하며, 분해된 사후분포 근사를 활용한다.
• 가중치에 대해 라플라스 및 가우시안 ARD와 같은 계층적 사전분포를 적용하여 희박성을 유도하고, 관련이 없는 입력 특징을 자동으로 식별한다.
• 사이트별 기울인 분포와 가우시안 근사를 사용하여 사후분포 사이트 파라미터를 반복적으로 갱신하며, 정규화 항은 수치적 적분과 콜레스키 분해를 통해 계산한다.
• 공백 분포에 대한 폐쇄형 업데이트를 유도하고, 캐논리컬 파rameter화를 사용하여 수렴성을 보장하고 기울기 기반 하이퍼파rameter 최적화를 가능하게 한다.
• EP 근사를 사용하여 예측 불확실성을 통합하며, 이는 기울기 기반 하이퍼파rameter 조정을 지원한다.
• 순차적 및 병렬 EP 업데이트를 모두 지원하며, 계산 복잡도는 희박 선형 모델 앙상블을 훈련하는 것과 유사하다.

실험 결과

연구 질문

• RQ1 기대값 전파(EP)는 희박성 유도 사전분포를 갖는 베이지안 신경망에 대해 MCMC 및 라플라스 근사와 비교해 정확하고 효율적인 대안이 될 수 있는가?
• RQ2 라플라스 및 ARD 가우시안과 같은 계층적 사전분포의 사용이 비선형 회귀 과제에서 모델의 희박성과 예측 성능에 어떤 영향을 미치는가?
• RQ3 제안된 EP 기반 방법이 MAP 기반 ARD 및 MCMC 접근법보다 예측 정확도와 과적합에 대한 강건성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 EP 프레임워크는 일반적인 활성화 함수와 은닉 유닛 간 상호작용 항을 포함한 비선형 모델로 얼마나 넓게 확장될 수 있는가?
• RQ5 추정이 어려운 사후분포가 존재하는 상황에서 EP로부터 유도된 사후분포의 근사 마진 가능도가 하이퍼파rameter 최적화에 효과적으로 활용될 수 있는가?

주요 결과

• EP 기반 방법은 MCMC와 유사한 예측 성능를 보이며, 특히 관련 없는 특징이 많은 고차원 설정에서 MAP 기반 ARD 방법보다 뛰어난 성능을 발휘한다.
• EP와 함께 계층적 사전분포를 사용하면 강건한 특징 선택이 가능하여, 관측 수보다 특징 수가 많을 경우에도 과적합 없이 관련 없는 입력을 효과적으로 억제한다.
• 알고리즘의 계산 복잡도는 독립적인 희박 선형 모델 앙상블을 훈련하는 것과 유사하게 스케일링되며, 대규모 문제에 실용적이다.
• EP는 라플라스 근사보다 정확한 사후분포 근사를 제공하며, 특히 비가역적 사전분포(예: 라플라스 분포)로 인해 사후분포 곡률이 잘 정의되지 않을 경우에 더 뛰어난 성능을 보인다.
• EP로부터 유도된 마진 가능도 근사는 잡음 분산 및 입력 가중치 스케일과 같은 하이퍼파rameter의 기울기 기반 최적화를 효과적으로 가능하게 하여 모델 캘리브레이션을 향상시킨다.
• 시뮬레이션 및 실세계 데이터에 대한 실험 결과는, 이 방법이 예측 정확도를 유지하면서도 강력한 희박성을 달성하고, 관련 특징 파라미터의 사후분포를 통해 명확하게 관련 특징을 식별함을 확인한다.