[논문 리뷰] Learning Invariances using the Marginal Likelihood

Mark van der Wilk, Matthias Bauer외 2명|arXiv (Cornell University)|2018. 08. 16.

Gaussian Processes and Bayesian Inference인용 수 14

한 줄 요약

이 논문은 커널 구조에 직접 통합된 입력 불변성을 학습하기 위한 방법을 제안하며, 근사 가능성이 있는 가능도를 통한 최적화를 통해 이를 달성한다. 다양한 샘플링 절차를 통해 유의미한 커널 추정치를 얻는 변분 추론을 사용함으로써, 엔드 투 엔드 학습을 통해 최적의 불변성(예: 애핀 변환 및 국소 변형)을 발견할 수 있으며, 이는 MNIST 변형에서 일반화 성능 향상으로 이어진다. 검증 데이터 없이도 근사 가능성이 있는 가능도가 우수한 모델을 정확히 식별한다.

ABSTRACT

Generalising well in supervised learning tasks relies on correctly extrapolating the training data to a large region of the input space. One way to achieve this is to constrain the predictions to be invariant to transformations on the input that are known to be irrelevant (e.g. translation). Commonly, this is done through data augmentation, where the training set is enlarged by applying hand-crafted transformations to the inputs. We argue that invariances should instead be incorporated in the model structure, and learned using the marginal likelihood, which correctly rewards the reduced complexity of invariant models. We demonstrate this for Gaussian process models, due to the ease with which their marginal likelihood can be estimated. Our main contribution is a variational inference scheme for Gaussian processes containing invariances described by a sampling procedure. We learn the sampling procedure by back-propagating through it to maximise the marginal likelihood.

연구 동기 및 목표

• 데이터 증강의 한계를 극복하기 위해 모델 사전확률 내에서 불변성 모델링으로 대체함으로써 지도학습의 한계를 해결하고자 한다.
• 역행, 기울임, 변형과 같은 불변성을 가우시안 프로세스 모델 내에서 근사 가능성이 있는 가능도를 통해 직접 학습하고자 한다.
• 닫힌 형태가 아닌 불변 커널의 기술적 과제를 해결하기 위해, 미분 가능한 샘플링을 통한 편향 없는 커널 추정치를 사용하고자 한다.
• 근사 가능성이 있는 가능도가 엔드 투 엔드 최적화를 위한 타당하고 미분 가능한 목적함수로 기능할 수 있음을 보여주고자 한다.
• 제안된 방법이 MNIST 변형에서 잘 일반화되며, 검증 세트 없이도 모델 선택이 가능함을 보여주고자 한다.

제안 방법

• 이 방법은 주어진 불변성 분포 하에서 변환된 입력에 대해 기본 커널(예: RBF)을 평균화하는 이중 합 커널을 사용한다.
• 비가역적 적분이나 합계가 존재하더라도, 편향 없는 커널 추정치에만 의존하는 근사 가능성이 있는 가능도의 변분 하한을 도입한다.
• 불변성은 애핀 변환, 변형 등과 같은 미분 가능한 샘플링 절차를 통해 모델링되며, 이는 역전파를 통해 불변성 파라미터를 최적화할 수 있도록 한다.
• 불변성 변환을 매개변수화한 분포에서 샘플링을 통해 커널 추정치를 구성함으로써, 불변성 구조의 기울기 기반 최적화가 가능해진다.
• 전체 학습 목적함수는 근사 가능성이 있는 가능도의 변분 하한이며, 재구성 기반 기울기(재구성 기반 기울기)를 사용한 확률적 경사 하강법으로 최대화된다.
• 이 방법은 가우시안 프로세스 하이퍼파rameter와 불변성 파라미터를 모두 역전파를 통해 공동 최적화할 수 있는 엔드 투 엔드 학습을 지원한다.

실험 결과

연구 질문

• RQ1 근사 가능성이 있는 가능도를 목적함수로 사용할 때, 애핀 변환 및 국소 변형과 같은 불변성이 가우시안 프로세스 모델에서 효과적으로 학습될 수 있는가?
• RQ2 검증 세트가 필요 없이도, 근사 가능성이 있는 가능도가 최적의 불변성 구조를 정확히 식별할 수 있는가?
• RQ3 불변성에 대한 미분 가능한 샘플링 절차를 통해 가우시안 프로세스와 불변성 파라미터의 엔드 투 엔드 최적화가 가능할 수 있는가?
• RQ4 기본 데이터 증강이나 고정된 불변성 가정에 비해, 벤치마크 데이터셋인 MNIST에서 학습된 불변성의 성능은 어떻게 되는가?
• RQ5 불변성 파라미터, 가우시안 프로세스 하이퍼파라미터, 변분 사후분포를 함께 학습할 때의 최적화 동역학은 어떠한가?

주요 결과

• 학습된 애핀 변환을 가진 가우시안 프로세스 모델은 MNIST에서 테스트 오차 1.35%를 기록하여 RBF 기준선(2.15%)을 크게 앞서갔다.
• 학습된 국소 변형을 가진 모델은 테스트 오차 1.47%를 기록하여 역시 RBF 기준선을 초월했으며, 이는 비강성 변형이 MNIST 일반화에 강성 회전보다 더 유익함을 시사한다.
• 모든 실험에서 근사 가능성이 있는 가능도 하한은 성능이 가장 뛰어난 모델을 정확히 식별했다. 이는 공동 최적화가 진짜 불변성으로 초기화된 모델의 성능에 도달하지 못했음에도 불구하고도 성립한다.
• 오직 회전 불변성에만 의존하는 모델는 RBF 기준선에 비해 약간의 향상을 보였을 뿐이었으며, 이는 MNIST 일반화에 있어 회전 불변성만으로는 부족함을 시사한다.
• 검증 세트가 필요 없이도, 근사 가능성이 있는 가능도가 모델 선택을 위한 신뢰할 수 있고, 미분 가능한 목적함수로 기능함을 성공적으로 입증했다.
• 회전된 MNIST 실험에서 고정된 불변성 범위(예: ±45° 또는 ±179°)를 가진 모델들이 학습된 파라미터를 가진 모델보다 성능이 뛰어났다. 이는 공동 학습에서의 최적화 과제를 시사하지만, 근사 가능성이 있는 가능도는 여전히 최고의 모델을 정확히 순위 매겼다.