[논문 리뷰] Function Space Particle Optimization for Bayesian Neural Networks

Ziyu Wang, Tongzheng Ren외 2명|arXiv (Cornell University)|2019. 02. 26.

Adversarial Robustness in Machine Learning인용 수 14

한 줄 요약

이 논문은 베이지안 신경망을 위한 새로운 변분 추론 방법인 함수 공간 입자 최적화(f-SVGD)를 제안한다. 이 방법은 가중치 공간이 아닌 회귀 함수의 공간에서 직접 입자 최적화를 수행한다. 과다 매개변수화된 모델에서 기울기 혼합과 입자 붕괴 문제를 피함으로써, 예측 성능, 적대적 공격에 대한 강건성, 강화학습에서 뛰어난 성능을 달성하며, 다양한 벤치마크에서 강력한 기준 모델들을 능가한다.

ABSTRACT

While Bayesian neural networks (BNNs) have drawn increasing attention, their posterior inference remains challenging, due to the high-dimensional and over-parameterized nature. To address this issue, several highly flexible and scalable variational inference procedures based on the idea of particle optimization have been proposed. These methods directly optimize a set of particles to approximate the target posterior. However, their application to BNNs often yields sub-optimal performance, as such methods have a particular failure mode on over-parameterized models. In this paper, we propose to solve this issue by performing particle optimization directly in the space of regression functions. We demonstrate through extensive experiments that our method successfully overcomes this issue, and outperforms strong baselines in a variety of tasks including prediction, defense against adversarial examples, and reinforcement learning.

연구 동기 및 목표

• 과다 매개변수화된 베이지안 신경망에서 입자가 단일 모드로 붕괴되는 가중치 공간 입자 최적화의 실패 모드를 해결한다.
• 고차원이며 다모드인 가중치 공간 사후분포에서 차원의 극복과 모드 붕괴 문제를 해결한다.
• 입자 최적화를 가중치 공간에서 함수 공간으로 이동시켜 사후분포 근사 품질을 향상시킨다. 여기서 입자는 회귀 함수를 나타낸다.
• 입자 간에 기능 공간 오차 신호만 교환함으로써 대규모 모델에 대한 스케일러블하고 병렬화 가능한 추론을 가능하게 한다.
• 다양한 작업, 즉 회귀, 적대적 방어, 강화학습에서 일관된 성능 향상을 입증한다.

제안 방법

• 각 입자를 신경망 가중치로 매개변수화된 회귀 함수로 표현함으로써 함수 공간에서 입자 최적화를 수행한다.
• 기능 유사성에 기반한 입자 상호작용을 계산하기 위해 기능값 커널을 사용한다. 이는 가중치 거리가 아닌 기능 유사성에 기반한다.
• 입자 j의 기울기를 입자 i에 적용할 때, f^j가 θ^j에 대한 야코비안을 통해 기울기 혼합을 방지하는 입자 갱신 규칙을 유도한다.
• 대규모 데이터셋과 모델에 스케일링하기 위해 갱신 규칙의 미니배치 스트로스틱 추정을 구현한다.
• 모델 병렬화를 활용한다: 입자 간에 기능 공간 오차 신호만 교환되므로 통신 오버헤드가 감소한다.
• 재매개변수화 기법을 사용하여 커널 함수의 입자 가중치에 대한 기울기를 계산함으로써 효율적인 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 과다 매개변수화된 BNN에서 가중치 공간 입자 최적화가 입자 붕괴와 기울기 혼합 문제를 야기하는 것을 함수 공간에서의 입자 최적화가 완화할 수 있는가?
• RQ2 함수 공간에서 최적화하면 가중치 공간 방법에 비해 더 나은 일반화와 불확실성 캘리브레이션을 달성할 수 있는가?
• RQ3 함수 공간 최적화가 회귀, 적대적 방어, 강화학습과 같은 하류 작업에서 강력한 기준 모델들과 비교해 어떻게 성능을 발휘하는가?
• RQ4 함수 공간 커널 설계가 BNN에서 수렴성과 근사 품질에 어떤 영향을 미치는가?
• RQ5 최소한의 통신 오버헤드로 모델 병렬화를 통해 f-SVGD를 효율적으로 확장할 수 있는가?

주요 결과

• f-SVGD는 과다 매개변수화된 모델에서 가중치 공간 입자 최적화가 야기하는 입자 붕괴 문제를 성공적으로 방지한다.
• 회귀 작업에서 f-SVGD는 SVGD 및 기타 기준 모델들보다 낮은 테스트 오차와 더 나은 불확실성 캘리브레이션을 달성한다.
• 적대적 방어에서 f-SVGD는 MNIST와 CIFAR-10에서 표준 BNN 및 SVGD를 능가하는 유의미한 강건 정확도 향상을 보였다.
• 딥 강화학습에서 f-SVGD는 기준 방법들에 비해 더 나은 탐색 능력과 높은 누적 수익을 MuJoCo 환경에서 달성한다.
• 이 방법은 효율적으로 확장 가능하다: 수백 개의 입자가 단일 GPU에 수용되며, 기능 공간 신호 교환 덕분에 통신 오버헤드가 낮게 유지된다.
• 절단 분석 결과, 가중치 공간 방법에서의 기울기 혼합이 실패의 주요 원인임을 확인하였고, f-SVGD의 설계가 이 문제를 효과적으로 제거함을 입증하였다.