[논문 리뷰] Latent Projection BNNs: Avoiding weight-space pathologies by learning latent representations of neural network weights.

Melanie F. Pradier, Weiwei Pan외 3명|arXiv (Cornell University)|2018. 11. 16.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 10

한 줄 요약

이 논문은 고차원 신경망 가중치를 저차원 잠재 공간으로 매핑함으로써 불확실성 정량화를 단순화하고 일반화 성능을 향상시키는 변분 추론 프레임워크인 Latent Projection BNNs를 제안한다. 이(compact) 잠재 공간에서 추론을 수행함으로써, 가중치 공간에서 발생하는 병리적 현상을 피하고 다양한 데이터셋에서 뛰어난 불확실성 캘리브레이션과 성능을 달성한다.

ABSTRACT

As machine learning systems get widely adopted for high-stake decisions, quantifying uncertainty over predictions becomes crucial. While modern neural networks are making remarkable gains in terms of predictive accuracy, characterizing uncertainty over the parameters of these models is challenging because of the high dimensionality and complex correlations of the network parameter space. This paper introduces a novel variational inference framework for Bayesian neural networks that (1) encodes complex distributions in high-dimensional parameter space with representations in a low-dimensional latent space, and (2) performs inference efficiently on the low-dimensional representations. Across a large array of synthetic and real-world datasets, we show that our method improves uncertainty characterization and model generalization when compared with methods that work directly in the parameter space.

연구 동기 및 목표

• 베이지안 신경망에서 복잡한 고차원 매개변수 분포를 모델링하는 데 도전하는 데 목적을 두며.
• 고차원 가중치 공간에서 직접 추론함으로써 발생하는 계산 및 통계적 병리적 현상을 줄이는 데 목적을 두며.
• 신경망 가중치의 저차원 잠재 표현을 통해 불확실성 특성화와 모델 일반화를 향상시키는 데 목적을 두며.
• 실제 및 가짜 데이터셋에 복잡한 가중치 상관관계를 가진 환경에서 스케일링 가능한 효율적인 변분 추론 프레임워크를 개발하는 데 목적을 두며.

제안 방법

• 이 방법은 저차원 잠재 변수를 고차원 가중치 공간으로 매핑하는 딥 생성 모델을 도입한다.
• 신경망 기반 추론 네트워크를 사용하여 잠재 공간에서 변분 분포를 통해 진정한 가중치 사후분포를 근사한다.
• 학습 중에 잠재 공간가 가중치 분포의 핵심 구조를 포착하면서 차원을 감소시키도록 최적화된다.
• 효율적인 추론이 저차원 잠재 공간에서 수행되어 고차원 가중치 공간 최적화의 계산 부담과 불안정성 문제를 피한다.
• 재생가능한 경사 하강법 기반 스토하스틱 그래디언트 변분 추론을 통해 엔드 투 엔드 학습이 가능하다.
• 가중치 상관관계를 더 잘 모델링함으로써 예측 성능를 유지하면서도 불확실성 캘리브레이션을 향상시킨다.

실험 결과

연구 질문

• RQ1 베이지안 신경망에서 복잡한 고차원 가중치 분포를 효과적으로 모델링하기 위해 저차원 잠재 표현이 유용한가?
• RQ2 잠재 공간에서의 변분 추론이 직접 가중치 공간에서의 추론보다 병리적 현상을 줄이고 불확실성 정량화를 향상시키는가?
• RQ3 제안된 방법은 다양한 실제 및 가짜 데이터셋에서 예측 정확도와 불확실성 캘리브레이션 측면에서 어떻게 성능을 발휘하는가?
• RQ4 잠재 공간이 고차원 가중치 상관관계에서 의미 있는 구조를 얼마나 잘 분리하는가?

주요 결과

• 기존의 가중치 공간에서 직접 작동하는 기준 방법 대비, 다양한 실제 및 가짜 데이터셋에서 제안된 방법이 불확실성 캘리브레이션을 향상시킨다.
• 특히 데이터가 적은 환경에서 더 안정적이고 구조화된 사후 근사 분포 덕분에 Latent Projection BNNs는 더 나은 일반화 성능을 달성한다.
• 낮은 차원에서 작동함으로써 계산 오버헤드를 줄였지만 예측 정확도는 유지한다.
• 잠재 공간은 가중치 분포의 의미 있는 구조를 포착하여 더 효율적이고 정확한 추론을 가능하게 한다.
• 실험 결과는 다양한 벤치마크 과제에서 불확실성 특성화와 모델의 강건성 측면에서 일관된 향상을 보였다.