[논문 리뷰] Differentiable PAC–Bayes Objectives with Partially Aggregated Neural Networks

Felix Biggs|arXiv (Cornell University)|2021. 09. 29.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 8

한 줄 요약

이 논문은 비차별 가능한 부호 출력 신경망에서 낮은 분산 그래디언트 추정을 가능하게 하는 부분적으로 집계된 몬테카를로 추정기들을 소개한다. 비차별 가능한 부호 출력 신경망에서 낮은 분산 그래디언트 추정을 가능하게 하는 부분적으로 집계된 몬테카를로 추정기들을 소개한다. 이는 보조 손실 없이도 더 날카운 일반화 경계를 제공하는 직접적으로 미분 가능한 PAC-베이지안 목표를 유도한다. 이는 Letarte 등(2019)의 결과보다 두 배로 더 날카운 일반화 경계를 달성한다. 이는 안정적인 훈련을 가능하게 하는 경로 기반 그래디언트를 통해 실현된다.

ABSTRACT

We make two related contributions motivated by the challenge of training stochastic neural networks, particularly in a PAC–Bayesian setting: (1) we show how averaging over an ensemble of stochastic neural networks enables a new class of partially-aggregated estimators, proving that these lead to unbiased lower-variance output and gradient estimators; (2) we reformulate a PAC–Bayesian bound for signed-output networks to derive in combination with the above a directly optimisable, differentiable objective and a generalisation guarantee, without using a surrogate loss or loosening the bound. We show empirically that this leads to competitive generalisation guarantees and compares favourably to other methods for training such networks. Finally, we note that the above leads to a simpler PAC–Bayesian training scheme for sign-activation networks than previous work.

연구 동기 및 목표

• 비차별 가능한 활성화 함수(예: sign)를 사용할 경우 고분산 그래디언트 추정이 발생하는 문제를 해결하기 위해, PAC-베이지안 프레임워크 내에서 확률적 신경망을 훈련시키는 데 도전하는 것.
• 원래 경계의 날카러움을 유지하면서도 직접 최적화 가능한, 직접적으로 미분 가능한 목표를 도출함으로써, PAC-베이지안 경계와 최적화 목표 사이의 격차를 메우는 것.
• 보조 손실이나 느슨한 경계를 사용하지 않고도, 집계를 통해 부호 출력 신경망에 대한 PAC-베이지안 경계를 재구성함으로써 일반화 보장을 향상시키는 것.
• 깊은 확률적 신경망에 대해 분석적으로 다룰 수 있고 계산적으로 실현 가능한, 부분적으로 집계된 추정기의 새로운 클래스를 개발하는 것.

제안 방법

• 다중 순전파 동안 출력을 평균화하면서도 경로 기반 그래디언트 추정을 유지하는 부분적으로 집계된 몬테카를로 추정기를 제안하여, REINFORCE나 단순 몬테카를로보다 분산을 감소시킨다.
• Catoni(2007)의 경계 설정 방식과 집계를 조합하여, 부호 출력 신경망에 대한 새로운 PAC-베이지안 경계를 도출함으로써, 경계가 직접 최적화 가능하고 미분 가능하게 유지된다.
• 선형 손실의 선형성과 젠센의 부등식을 사용하여 기대 오분류 손실을 Q-집계 예측기의 손실과 동일시함으로써, 비차별 가능한 sign 활성화 함수가 존재하더라도 미분 가능성을 확보한다.
• 고정된 정규화 파라미터를 사용하는 'fix-λ'과 경계를 통해 λ를 자동으로 조정하는 'optim-λ'의 두 가지 훈련 목표를 도입함으로써, 적응형 정규화를 가능하게 한다.
• 표준화된 파rameter 분포(예: z = (θ - μ)/σ)를 통해 경로 기반 그래디언트 추정을 적용함으로써, 비차별 가능한 출력 함수가 존재하더라도 낮은 분산 그래디언트를 확보한다.
• 완전히 연결된 신경망에 대해 sign, sigmoid, 또는 ReLU 활성화 함수를 사용하며, 파rameter의 불확실성을 위해 등방향 정규 사전과 사후 분포를 적용한다.

실험 결과

연구 질문

• RQ1 부분적으로 집계된 추정기는 REINFORCE나 단순 몬테카를로에 비해 비차별 가능한 부호 출력 신경망에서 그래디언트 분산을 줄일 수 있는가?
• RQ2 보조 손실 없이도, 또는 경계를 느슨하게 하지 않고도, 부호 출력 신경망에 대한 PAC-베이지안 경계를 직접적으로 미분 가능한 목표로 재구성할 수 있는가?
• RQ3 제안된 방법은 유사한 네트워크 아키텍처에서 Letarte 등(2019)의 이전 작업에 비해 더 날카운 일반화 보장을 제공하는가?
• RQ4 'optim-λ' 목표는 훈련 중에 정규화 강도를 자동으로 조정하여 수동 하이퍼파ram터 튜닝 없이도 일반화 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 부분적으로 집계된 추정기는 비차별 가능한 부호 출력 신경망에서 REINFORCE나 단순 몬테카를로에 비해 더 낮은 분산 그래디언트 추정을 달성한다.
• 유도된 PAC-베이지안 목표는 직접적으로 미분 가능하며, 동일한 네트워크 유형에서 Letarte 등(2019)의 결과보다 두 배로 더 날카운 일반화 경계를 제공한다.
• 이진-MNIST에서 'optim-λ' 목표는 테스트 0-1 오차 5.61%와 비어 있지 않은 경계 16.0%(δ=0.05)를 달성하여, 기준 모델인 PBGNet에 비해 경계 날카움 측면에서 뛰어난 성능을 보였다.
• 'fix-λ' 목표에서 λ = m = 60,000로 설정했을 경우, 테스트 0-1 오차 5.41%와 경계 16.0%를 달성하여 안정적인 훈련을 보이며 경쟁 가능한 성능을 보였다.
• 이 방법은 이전에 고분산 그래디언트로 인해 어려웠던 깊고 다중층의 비차별 가능한 신경망을 PAC-베이지안 설정에서 훈련 가능하게 한다.
• 더 날카운 이론적 경계를 제공하더라도, 비스토캐스틱 ReLU MLP 기준 모델은 1.82%의 더 낮은 테스트 오차를 기록하여 일반화 경계와 실증 성능 사이의 격차를 드러냈다.