[논문 리뷰] Meta-Learning Update Rules for Unsupervised Representation Learning

Luke Metz, Niru Maheswaranathan외 2명|arXiv (Cornell University)|2018. 03. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 69

한 줄 요약

이 논문은 메타러닝으로 학습된 비지도 업데이트 규칙을 통해 기본 모델이 준지도 학습 분류에 유용한 표현을 생성하도록 하고, 다양한 아키텍처, 데이터셋 및 모달리티에 걸친 강한 일반화 성능을 입증한다.

ABSTRACT

A major goal of unsupervised learning is to discover data representations that are useful for subsequent tasks, without access to supervised labels during training. Typically, this involves minimizing a surrogate objective, such as the negative log likelihood of a generative model, with the hope that representations useful for subsequent tasks will arise as a side effect. In this work, we propose instead to directly target later desired tasks by meta-learning an unsupervised learning rule which leads to representations useful for those tasks. Specifically, we target semi-supervised classification performance, and we meta-learn an algorithm -- an unsupervised weight update rule -- that produces representations useful for this task. Additionally, we constrain our unsupervised update rule to a be a biologically-motivated, neuron-local function, which enables it to generalize to different neural network architectures, datasets, and data modalities. We show that the meta-learned update rule produces useful features and sometimes outperforms existing unsupervised learning techniques. We further show that the meta-learned unsupervised update rule generalizes to train networks with different widths, depths, and nonlinearities. It also generalizes to train on data with randomly permuted input dimensions and even generalizes from image datasets to a text task.

연구 동기 및 목표

• 메타타 학습을 통해 다운스트림 작업을 개선하기 위한 목표로 비지도 표현 학습을 제시한다.
• 훈련 중 라벨 없이도 semi-supervised 분류를 위한 표현을 직접 최적화한다.
• 아키텍처 및 데이터 도메인에 일반화되는 뉴런-로컬 비지도 업데이트 규칙을 개발한다.
• 메타-학습된 업데이트 규칙이 다양한 너비(width), 깊이(depth), 비선형성, 데이터 모달리티로 전달될 수 있음을 보여준다.

제안 방법

• 메타 파라미터 θ로 매개변수화된 계층별 뉴런-로컬 업데이트 네트워크를 갖춘 MLP 기본 모델을 형식화한다.
• 업데이트를 위해 각 뉴런의 숨겨진 상태와 로컬 프런트/포스트시냅스 활성화를 사용하는 비지도 업데이트 규칙을 정의한다.
• 추적 가능한 시간 역전(backpropagation through time)으로 θ를 최적화하기 위해 메타 목적함수를 시간에 따라 역전시키고 한다.
• 메타 목적은 보유된 라벨링된 타깃과 학습된 특징에서의 선형 회귀 예측 간의 코사인 거리 최소화한다.
• 다양한 데이터셋과 기본 모델 아키텍처에서 학습하여 도메인 및 모달리티 간 일반화를 촉진한다.
• 메타학습 중 입력 차원을 순열하도록 하여 학습 규칙의 순열 불변성을 강제한다.

실험 결과

연구 질문

• RQ1 메타러닝으로 생성된 학습된 비지도 업데이트 규칙이 소수 샷 분류에 유용한 표현을 생성할 수 있는가?
• RQ2 메타학습된 규칙이 보이지 않는 너비, 깊이 및 활성화 함수, 데이터 모달리티에 일반화되는가?
• RQ3 메타학습 데이터와 아키텍처를 다양하게 변화시키는 것이 교차 도메인 일반화를 얼마나 촉진하는가?
• RQ4 뉴런-로컬 업데이트 규칙이 생물학적으로 그럴듯한 학습과 호환되면서도 경쟁력 있는 비지도 표현 품질을 달성할 수 있는가?
• RQ5 업데이트 규칙을 메타학습하는 것이 전통적인 수동 설계 비지도 목표와 비교해 전이성 측면에서 어떤 차이가 있는가?

주요 결과

• 메타러닝으로 학습된 비지도 업데이트 규칙은 보유된 작업에서 기존의 일부 비지도 방법보다 더 나은 표현을 만들어낸다.
• 학습된 규칙은 보이지 않는 너비, 깊이 및 비선형성의 기본 모델에 일반화된다.
• 규칙은 이미지 데이터셋에서 텍스트 작업으로의 전이 등 데이터 모달리티 간 전이되며, 성공 정도는 다르게 나타난다.
• 입력 차원 순열에서도 성능이 견고하여 순열 불변 학습 행동을 보여준다.
• 다양한 데이터셋과 아키텍처로의 메타 학습은 도메인 간 일반화를 향상시킨다.
• 시각적 분석에서 1레이어 필터가 메타 학습 동안 거친/잡음에서 더 구조적인 데이터셋에 적합한 특징으로 진화한다.