[논문 리뷰] Hierarchical Indian Buffet Neural Networks for Bayesian Continual Learning

Samuel Kessler, Vu Nguyen외 2명|arXiv (Cornell University)|2019. 12. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 10

한 줄 요약

이 논문은 지속적 학습에서 네트워크 복잡도를 자동으로 데이터 기반으로 조정할 수 있도록 인디안 빵집 프로세스(Indian Buffet Process, IBP)와 계층적-IBP(Hierarchical-IBP, H-IBP) 사전분포를 갖는 베이지안 신경망(Bayesian Neural Network, BNN)을 제안한다. 재생가능한 베르누이 및 베타 분포를 사용한 온라인 변분 추론을 통해 모델은 은닉층 뉴런을 동적으로 확장하거나 축소하여 치명적 기억상실(catastrophic forgetting)과 자원 낭비 문제를 해결하고, 기존 방법들에 비해 더 뛰어난 내성성과 함께 MNIST 변형 데이터셋에서 경쟁적인 성능을 달성한다. 특히 가중치 프루닝에 대한 내성성도 향상되었다.

ABSTRACT

We place an Indian Buffet process (IBP) prior over the structure of a Bayesian Neural Network (BNN), thus allowing the complexity of the BNN to increase and decrease automatically. We further extend this model such that the prior on the structure of each hidden layer is shared globally across all layers, using a Hierarchical-IBP (H-IBP). We apply this model to the problem of resource allocation in Continual Learning (CL) where new tasks occur and the network requires extra resources. Our model uses online variational inference with reparameterisation of the Bernoulli and Beta distributions, which constitute the IBP and H-IBP priors. As we automatically learn the number of weights in each layer of the BNN, overfitting and underfitting problems are largely overcome. We show empirically that our approach offers a competitive edge over existing methods in CL.

연구 동기 및 목표

• 고정된 네트워크 아키텍처로 인해 과소적합 또는 과적합이 발생할 수 있는 지속적 학습 환경에서의 동적 자원 할당 문제를 해결하기 위해.
• 구조적 사전분포를 활용한 베이지안 추론을 통해 순차적 과제 학습에서 치명적 기억상실 문제를 해결하기 위해.
• 비모수 베이지안 사전분포를 통해 데이터 기반의 자동적이고 동적인 네트워크 복잡도 증가 및 프루닝을 가능하게 하기 위해.
• 원칙적인 베이지안 프레임워크를 통해 확장 기반과 정규화 기반 지속적 학습 방법 간의 격차를 메우기 위해.

제안 방법

• 은닉층마다 이진 연결 행렬 Z에 대해 인디안 빵집 프로세스(IBP) 사전분포를 적용하여 각 은닉층에서 자동으로 뉴런 선택이 가능하도록 한다.
• IBP를 계층적-IBP(H-IBP)로 확장하여 모든 레이어에 걸쳐 구조적 사전분포를 공유함으로써 정규성과 일반화 능력을 향상시킨다.
• 베르누이 및 베타 분포에 대한 재생가능한 변분 추론을 사용하여 효율적이고 순차적인 학습을 가능하게 한다.
• BNN 가중치를 독립적인 정규분포에서 추출된 것으로 간주하고, 베이지안 업데이트를 통해 순차적으로 사후분포를 갱신한다.
• IBP에 대한 콘크리트 근사(concrete relaxation)를 사용하여 이진 행렬 Z의 미분 가능한 샘플링과 학습을 가능하게 한다.
• 뉴런 활성화를 임계치(z_k > 0.1) 기반으로 정의함으로써 해석 가능하고 학습 가능한 구조 탐색이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 베이지안 신경망은 지속적 학습 도중 과제 난이도에 따라 은닉층의 복잡도를 자동으로 조정할 수 있는가?
• RQ2 네트워크 구조에 대한 공유된 계층적 사전분포는 지속적 학습에서 일반화 능력을 향상시키고 과적합을 방지하는 데 어떤 영향을 미치는가?
• RQ3 제안된 모델은 기존의 베이지안 및 확장 기반 지속적 학습 방법들에 비해 정확도와 내성성 면에서 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 IBP/H-IBP 사전분포를 사용한 재생가능한 변분 추론은 더 나은 가중치 분산 추정과 프루닝 내성성을 이끌어내는가?

주요 결과

• 제안된 모델은 Split MNIST CL1에서 평균 테스트 정확도 95.1% ± 1.1을 달성하여 강력한 BSCL 기준선(95.2% ± 1.5)과 유사한 성능을 보였다.
• 신호 대 잡음비(SNR, |μ|/σ) 기반의 가중치 프루닝에 대해 뛰어난 내성성을 보였으며, SNR 기반 프루닝 시 95.0% ± 0.0 정확도를 기록하여 BSCL의 98.0% ± 0.1보다 뛰어난 성능를 보였다.
• BSCL가 추가적인 학습 가능한 파라미터(p_k)를 사용하고 있음에도 불구하고, 제안된 방법은 더 단순하고 원칙적인 베이지안 구조를 통해 유사한 성능를 달성하였다.
• 변분 파라미터 α는 각 과제마다 증가하며, 이는 적응적 확장을 반영한다. 반면 BSCL는 유사한 α 증가를 보였지만 해당 뉴런이 활성화되지는 않았다.
• 과거 Z 행렬을 저장하지 않고 순차적 베이지안 업데이트에 의존함으로써 BSCL의 파라미터 저장 전략에 비해 메모리 사용을 줄였다.
• H-IBP 사전분포는 더 규칙적이고 안정적인 네트워크 구조를 만들어내어 순차적 학습에서 일반화 능력을 향상시키고 과적합을 감소시켰다.