[논문 리뷰] Meta-Learning by Adjusting Priors Based on Extended PAC-Bayes Theory

Ron Amit, Ron Meir|arXiv (Cornell University)|2017. 11. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 38

한 줄 요약

이 논문은 일반화 경계를 더 견고하게 유도하기 위해 확장된 PAC-Bayes 이론을 사용하는 메타러닝 프레임워크를 제안한다. 이를 통해 관측된 태스크들로부터 태스크별 사전 분포를 자동으로 학습할 수 있으며, 딥 네URAL 네트워크에서 경사 하강법을 통해 이러한 사전 분포를 최적화함으로써 소수의 샘플로도 일반화 성능을 향상시킨다. 또한 네트워크의 각 레이어에서 학습된 사전 분포가 직관적으로 해석 가능하게 적응됨을 보여준다.

ABSTRACT

In meta-learning an agent extracts knowledge from observed tasks, aiming to facilitate learning of novel future tasks. Under the assumption that future tasks are 'related' to previous tasks, the accumulated knowledge should be learned in a way which captures the common structure across learned tasks, while allowing the learner sufficient flexibility to adapt to novel aspects of new tasks. We present a framework for meta-learning that is based on generalization error bounds, allowing us to extend various PAC-Bayes bounds to meta-learning. Learning takes place through the construction of a distribution over hypotheses based on the observed tasks, and its utilization for learning a new task. Thus, prior knowledge is incorporated through setting an experience-dependent prior for novel tasks. We develop a gradient-based algorithm which minimizes an objective function derived from the bounds and demonstrate its effectiveness numerically with deep neural networks. In addition to establishing the improved performance available through meta-learning, we demonstrate the intuitive way by which prior information is manifested at different levels of the network.

연구 동기 및 목표

• 더 견고한 일반화 성능을 확보하기 위해 확장된 PAC-Bayes 경계를 활용한 이론적으로 탄탄한 메타러닝 프레임워크를 개발하는 것.
• 수동으로 설계된 인덕티브 바이어스에 의존하는 대신, 관측된 태스크들의 집합으로부터 태스크 관련 사전 분포를 자동으로 추론할 수 있도록 하는 것.
• 딥 네URAL 네트워크에 적용 가능한 실용적이고 경사 기반 최적화 알고리즘을 설계하는 것.
• 학습된 사전 분포가 네트워크의 각 레이어에서 직관적으로 해석 가능하며, 새로운 태스크에서 성능 향상에 기여함을 보여주는 것.

제안 방법

• 태스크 분포와 사전-사후 분포의 발산을 고려한 일반화 오차 경계를 유도함으로써, 단일 태스크용 PAC-Bayes 경계를 메타러닝에 확장한다.
• 메타러너가 관측된 태스크들 기반으로 태스크에 관계없는 가중치 분포에 대한 사전 분포를 학습하는 계층적 베이지안 모델을 사용한다.
• 각 태스크에 대해 가설에 대한 사후 분포를 근사하기 위해 변분 추론 접근법을 적용하며, 확률적 경사 하강법을 사용한다.
• 확장된 PAC-Bayes 경계에서 유도된 미분 가능한 목적 함수를 활용해 사전과 태스크별 사후 분포를 동시에 최적화한다.
• 몬테카를로 샘플링과 백프로파게이션을 사용하여 목적 함수의 사전 및 사후 파라미터에 대한 기울기를 계산한다.
• 두 단계로 구성된 훈련 과정을 구현한다: 메타훈련을 통해 사전을 학습하고, 메타테스트를 통해 미관측 태스크에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 PAC-Bayes 일반화 경계를 메타러닝 환경으로 확장하여 더 견고하고 실용적인 오차 경계를 제공할 수 있는가?
• RQ2 관측된 태스크들의 집합으로부터 데이터 기반 사전 분포를 학습하여, 새로운 관련 태스크에서의 일반화 성능를 향상시킬 수 있는가?
• RQ3 학습된 사전 분포가 딥 네URAL 네트워크에서 태스크 간의 공통된 구조적 인덕티브 바이어스를 얼마나 잘 포착하는가?
• RQ4 기존의 메타러닝 베이스라인 대비 소수의 샘플로도 일반화 정확도와 강인성 측면에서 성능이 뛰어나게 되는가?
• RQ5 사전 분포의 경사 기반 최적화가 네트워크의 다양한 레이어에서 표현 능력과 적응 속도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 난이도가 높은 소수의 샘플로 이루어진 이미지 분류 태스크에서 기초 베이스라인 및 최근 메타러닝 방법보다 더 뛰어난 일반화 성능를 보였다.
• 학습된 사전 분포는 하위 레이어에서의 특징 추출과 같은 공통된 인덕티브 바이어스를 효과적으로 포착하면서도, 상위 레이어에서는 적응 가능성을 유지한다.
• 퍼미uted MNIST 및 CIFAR-100에서의 실험 결과, 태스크당 훈련 샘플 수가 적을수록 모델이 잘 일반화됨을 확인하였다.
• 알고리즘은 사전 지식이 네트워크의 가중치 분포에 자연스럽게 표현됨을 보여주었으며, 초기 레이어에서는 높은 불확실성, 후속 레이어에서는 날카운 사후 분포를 보였다.
• Omniglot 데이터셋에서 소수의 샘플 설정 하에서 최고의 테스트 정확도 92.1%를 기록하여 MAML과 경쟁 가능한 성능를 확보하였다.
• 간단한 2차원 추정 태스크의 시각화 결과, 학습된 사전 분포가 태스크별 사후 분포 사이에 중심에 위치하고 더 높은 분산을 가지며, 관련 태스크 간의 공통 불확실성을 반영하고 있음을 확인하였다.