[논문 리뷰] Learning Structural Weight Uncertainty for Sequential Decision-Making

Ruiyi Zhang, Chunyuan Li외 2명|ArXiv.org|2017. 12. 30.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 4

한 줄 요약

이 논문은 구조적 가중치 불확실성을 행렬 변수 정규 prior를 사용하여 모델링하는 구조적 스틸 변분 경사 하강법(S2VGD)을 제안한다. 이는 스틸 변분 경사 하강법 프레임워크 내에서 이루어지며, 차원을 감소시키기 위해 하우스홀더 플로우를 통해 MVG prior를 재매개변수화함으로써 정확하고 저비용의 사후 분포 근사가 가능해지며, 기존의 표준 SVGD 및 기준 모델 대비 순차적 결정 과제(예: 컨텍스트 밴드잇 및 강화 학습)에서 탐색 성능을 크게 향상시킨다.

ABSTRACT

Learning probability distributions on the weights of neural networks (NNs) has recently proven beneficial in many applications. Bayesian methods, such as Stein variational gradient descent (SVGD), offer an elegant framework to reason about NN model uncertainty. However, by assuming independent Gaussian priors for the individual NN weights (as often applied), SVGD does not impose prior knowledge that there is often structural information (dependence) among weights. We propose efficient posterior learning of structural weight uncertainty, within an SVGD framework, by employing matrix variate Gaussian priors on NN parameters. We further investigate the learned structural uncertainty in sequential decision-making problems, including contextual bandits and reinforcement learning. Experiments on several synthetic and real datasets indicate the superiority of our model, compared with state-of-the-art methods.

연구 동기 및 목표

• 베이지안 신경망에서 독립 정규 prior의 한계를 해결하기 위해, 신경망 가중치 간의 구조적 의존성을 忽시하는 문제를 해결하고자 한다.
• 고차원 행렬 변수 정규 prior에 직접 스틸 변분 경사 하강법(SVGD)을 적용할 경우 발생하는 계산 비효율성 문제를 해결하고자 한다.
• 정책 네트워크에서 구조적 불확실성을 학습함으로써 순차적 결정 과제에서의 탐색 성능을 향상시키고자 한다.
• 하우스홀더 플로우 기반 재매개변수화를 통해 이전의 구조적 prior 방법들을 통합하고 확장하여 보다 효율적인 사후 추론을 가능하게 하고자 한다.

제안 방법

• 고차원 가중치 행렬을 낮은 차원의 잠재 공간으로 매핑하기 위해 행렬 변수 정규분포(MVG) prior의 하우스홀더 플로우 기반 재매개변수화를 제안한다.
• 낮은 차원의 잠재 공간에서 스틸 변분 경사 하강법(SVGD)을 적용하여 네트워크 가중치에 대한 사후 분포를 효율적으로 근사한다.
• 사후 분포를 표현하기 위해 입자 집합을 사용함으로써 제한적인 인수 분해된 가우시안 사후 가정을 피한다.
• 행렬 변수 정규분포(MVG) prior를 사용하여 가중치 간의 행 방향(뉴런 수준) 및 열 방향(필터/특징 수준) 의존성을 캡처함으로써 구조적 불확실성을 모델링한다.
• SVGD가 고차원 가중치 공간에서의 커널 계산 비용을 줄일 수 있도록, 차원을 감소시킨 공간에서 작동할 수 있도록 재매개변수화 기법을 도입한다.
• 두 단계 추론 프로세스를 적용한다: 먼저 하우스홀더 플로우를 통해 MVG prior를 재매개변수화하고, 그 후 변환된 공간에서 SVGD를 적용하여 사후 근사한다.

실험 결과

연구 질문

• RQ1 신경망 가중치 간의 구조적 의존성을 모델링하면, 베이지안 신경망에서 사후 근사 정확도가 향상되는가?
• RQ2 하우스홀더 플로우 재매개변수화를 갖는 행렬 변수 정규분포 prior를 사용하면, SVGD를 통한 사후 추론이 더 효율적이고 정확해지는가?
• RQ3 구조적 가중치 불확실성은 컨텍스트 밴드잇 및 강화 학습과 같은 순차적 결정 과제에서 탐색 및 성능에 어떤 영향을 미치는가?
• RQ4 S2VGD는 온라인 학습 환경에서 탐색과 이용의 균형을 잘 맞추는 데 있어 표준 SVGD 및 기타 기준 모델을 초월하는가?
• RQ5 입자 수가 순차적 결정 문제에서 불확실성 인식 정책 학습 성능에 미치는 영향은 어느 정도인가?

주요 결과

• S2VGD는 컨텍스트 밴드잇 과제에서 SVGD 및 LinUCB를 일관되게 능가하며, 첫날 데이터에서 더 높은 정규화된 누적 클릭률(CTR)을 기록한다.
• 입자 수 M이 증가할수록 S2VGD와 SVGD 간의 성능 격차가 커지므로, S2VGD가 더 큰 입자 집합을 보다 효과적으로 활용하여 불확실성 추정을 향상시킨다는 점이 확인된다.
• 강화 학습 과제에서는, 세 가지 과제(Cartpole, Cartpole Swing-Up, Double Pendulum)에서 REINFORCE 및 A2C 기준 모델 대비 S2VGD가 더 빠르게 수렴하고 더 높은 할인 누적 보상치를 달성한다.
• K=4일 때 S2VGD는 유사 크기의 네트워크에서 학습된 SVGD*보다 더 뛰어난 성능을 보이며, 단순한 네트워크 크기보다는 구조적 불확실성의 중요성을 입증한다.
• 결과는 구조적 가중치 불확실성이 탐색을 향상시켜, 보상 조정 없이도 불확실한 환경에서 보다 나은 정책 학습을 가능하게 한다는 점을 시사한다.
• 실증 결과는 MVG prior를 통한 가중치 간 상호작용의 구조 모델링이 더 표현력 있는 불확실성 표현을 가능하게 하며, 특히 온라인 결정 과제에서 유리함을 보임을 확인한다.