[논문 리뷰] The Deep Weight Prior

Andrei Atanov, Arsenii Ashukha외 3명|arXiv (Cornell University)|2018. 10. 16.

Machine Learning and Data Classification인용 수 16

한 줄 요약

이 논문은 특정 도메인 내 이전에 훈련된 모델들로부터 컨볼루션 필터 가중치에 대한 암묵적 사전 분포를 학습하는 Deep Weight Prior(DWP)를 소개한다. 이는 베이지안 신경망에 구조적인 인도적 편향을 도입한다. 이 암묵적 사전 분포를 사용한 변분 추론을 통해 데이터 부족 상황에서 일반화 성능을 향상시키고, 가중치 초기화에 사용할 경우 훈련 속도를 빠르게 하여 Xavier 초기화와 같은 표준 기준보다 뛰어난 성능을 발휘한다.

ABSTRACT

Bayesian inference is known to provide a general framework for incorporating prior knowledge or specific properties into machine learning models via carefully choosing a prior distribution. In this work, we propose a new type of prior distributions for convolutional neural networks, deep weight prior (DWP), that exploit generative models to encourage a specific structure of trained convolutional filters e.g., spatial correlations of weights. We define DWP in the form of an implicit distribution and propose a method for variational inference with such type of implicit priors. In experiments, we show that DWP improves the performance of Bayesian neural networks when training data are limited, and initialization of weights with samples from DWP accelerates training of conventional convolutional neural networks.

연구 동기 및 목표

• 베이지안 신경망에서 표준 사전 분포가 컨볼루션 필터 가중치의 공간적 상관관계를 포착하지 못하는 한계를 해결하기 위해.
• 이전에 훈련된 모델들로부터 도메인 특화 방식으로 구조적 인도적 편향을 캡처하는 유연한 암묵적 사전 분포를 개발하기 위해.
• 이러한 암묵적 사전 분포를 효과적으로 추론하기 위해 변분 추론을 가능하게 하여, 낮은 데이터 환경에서 성능 향상을 이끌어내기 위해.
• 표준 CNN에서 수렴 속도와 특징 학습 성능 향상을 위해 DWP를 가중치 초기화 전략으로 활용하는 것을 탐색하기 위해.

제안 방법

• Deep Weight Prior는 특정 데이터 도메인(예: 이미지 데이터셋) 내에서 사전 훈련된 컨볼루션 필터의 집합으로부터 학습된 암묵적 분포로 정의된다.
• 이 방법은 생성 모델을 사용하여 원천 커널 분포를 추정하며, 이는 훈련된 필터의 통계적 구조(예: 공간적 상관관계)를 암묵적으로 포착한다.
• 암묵적 사전 분포를 사용한 근사 후행 추론을 수행하기 위해 새로운 변분 추론 프레임워크를 제안하며, 보조 변수와 재파arameterization 기법을 활용한다.
• 이 방법은 도메인 특화의 인도적 편향을 반영하는 구조적 사전 분포를 가진 베이지안 컨볼루션 신경망의 엔드 투 엔드 훈련을 가능하게 한다.
• 이 방법은 마르코프 체인 형태의 암묵적 사전 분포를 허용함으로써 보다 광범위한 적용 가능성을 확보한다.
• 프레임워크는 암묵적 사전 분포에서 샘플을 추출하여 베이지안 추론과 가중치 초기화를 모두 지원한다.

실험 결과

연구 질문

• RQ1 소규모 사전 훈련된 컨볼루션 필터 집합으로부터 도메인 특화의 구조적 편향을 포착할 수 있는 암묵적 사전 분포를 효과적으로 학습할 수 있는가?
• RQ2 이러한 암묵적 사전 분포를 사용한 변분 추론은 데이터 부족 상황에서 베이지안 컨볼루션 네트워크의 일반화 성능을 어떻게 향상시키는가?
• RQ3 DWP에서 샘플을 추출한 초기화 전략이 피팅 조정 없이도 표준 CNN의 훈련 속도를 빠르게 하고 특징 추출 성능을 향상시킬 수 있는가?
• RQ4 수렴 속도와 정확도 측면에서 DWP는 표준 사전 분포와 초기화 방법보다 어떻게 비교되는가?

주요 결과

• DWP는 훈련 데이터가 제한된 상황에서 CIFAR-10과 MNIST에서 표준 사전 분포(예: 가우시안 또는 라플라스 분포)보다 분류 정확도를 크게 향상시킨다.
• 기존의 CNN에 DWP에서 추출한 샘플을 사용한 초기화는 Xavier 초기화보다 수렴 속도가 빠르고 특징 추출 성능이 뛰어나다.
• DWP 기반 초기화는 사전 훈련된 필터의 대규모 저장이 필요 없이도 학습된 필터 초기화 성능과 유사한 성능을 달성한다.
• 이 방법은 암묵적 사전 분포를 효과적으로 추론할 수 있음을 보여주며, 이러한 사전 분포가 베이지안 딥 러닝에서 구조적 인도적 편향을 활용하는 데 유용함을 입증한다.
• 실험 결과 DWP는 원천 커널 분포로부터 의미 있는 인도적 편향을 포착하여 모델의 강건성과 일반화 성능을 향상시킨다.