[논문 리뷰] Meta-Learning with Latent Embedding Optimization

Andrei A. Rusu, Dushyant Rao외 5명|arXiv (Cornell University)|2018. 07. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 210

한 줄 요약

LEO는 데이터 의존적 잠재 임베딩을 학습하고 이 저차원 공간에서 그래디언트 기반 적응을 수행하여 미니 ImageNet 및 tiered ImageNet 소샷 분류에서 최신 성능을 달성한다.

ABSTRACT

Gradient-based meta-learning techniques are both widely applicable and proficient at solving challenging few-shot learning and fast adaptation problems. However, they have practical difficulties when operating on high-dimensional parameter spaces in extreme low-data regimes. We show that it is possible to bypass these limitations by learning a data-dependent latent generative representation of model parameters, and performing gradient-based meta-learning in this low-dimensional latent space. The resulting approach, latent embedding optimization (LEO), decouples the gradient-based adaptation procedure from the underlying high-dimensional space of model parameters. Our evaluation shows that LEO can achieve state-of-the-art performance on the competitive miniImageNet and tieredImageNet few-shot classification tasks. Further analysis indicates LEO is able to capture uncertainty in the data, and can perform adaptation more effectively by optimizing in latent space.

연구 동기 및 목표

• 극도로 적은 데이터 상황에서 고차원 모델에 대한 그래디언트 기반 메타러닝의 샘플 효율성 격차를 해소한다.
• 적은 샷 데이터에 조건화된 모델 파라미터를 생성하고 적응하기 위한 저차원 잠재 공간을 제안한다.
• 미니 ImageNet 및 tiered ImageNet 소샷 태스크에서 최신 성능을 입증한다.
• 잠재 공간 최적화가 불확실성을 포착하고 다모달 태스크 분포를 지원하는지 조사한다.

제안 방법

• 적은 샷 데이터에 조건화된 확률적 잠재 공간을 학습하는 Latent Embedding Optimization(LEO)을 도입한다.
• 관계 네트워크를 사용하여 클래스 간 관계를 포착하는 잠재 코드로 몇 샷 샘플을 인코딩한다.
• 잠재 코드를 디코딩하여 분류기의 태스크-특정 최상위 계층 파라미터를 생성한다.
• 잠재 코드에 대한 내부 루프 그래디언트 업데이트를 수행한 후 업데이트된 코드를 디코딩하여 새로운 파라미터로 만든다.
• KL-정규화된 잠재 공간을 가진 내부 루프와 인코더/디코더 네트워크를 통해 검증 손실을 역전파하여 메타 학습한다.
• 데이터 조건부 인코더와 확률적이고 저차원 잠재 공간을 활용하여 분해가능한 디코더를 통해 파라미터 공간에서 그래디언트 기반 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 적은 샷 데이터에 조건화된 모델 파라미터의 저차원 잠재 공간이 효과적인 그래디언트 기반 적응을 지원할 수 있는가?
• RQ2 잠재 공간에서의 최적화가 소샷 일반화 개선 및 다모달 태스크 분포의 불확실성 포착에 기여하는가?
• RQ3 표준 소샷 벤치마크에서 LEO가 기존의 최적화 기반 메타러닝 방법과 어떤 차이가 있는가?
• RQ4 잠재 코드를 통한 데이터 의존적 파라미터 초기화가 성능 향상에 결정적인가?

주요 결과

모델	미니 ImageNet 1샷	미니 ImageNet 5샷	tiered ImageNet 1샷	tiered ImageNet 5샷
Meta-SGD (our features)	54.24±0.03%	70.86±0.04%	62.95±0.03%	79.34±0.06%
Conditional generator only	60.33±0.11%	74.53±0.11%	65.17±0.15%	78.77±0.03%
Conditional generator + fine-tuning	60.62±0.31%	76.42±0.09%	65.74±0.28%	80.65±0.07%
Previous SOTA	59.60±0.41%	76.70±0.30%	57.41±0.94%	72.69±0.74%
LEO (random prior)	61.01±0.12%	77.27±0.05%	65.39±0.10%	80.83±0.13%
LEO (deterministic)	61.48±0.05%	76.53±0.24%	66.18±0.17%	82.06±0.08%
LEO (no fine-tuning)	61.62±0.15%	77.46±0.12%	66.14±0.17%	80.89±0.11%
LEO (ours)	61.76±0.08%	77.59±0.12%	66.33±0.05%	81.44±0.09%

• LEO는 얕은 및 깊은 백본에서 미니 ImageNet 및 tiered ImageNet 규모에서 1샷 및 5샷 최첨단 정확도를 달성한다.
• 미니 ImageNet에서 LEO는 보고된 설정에서 61.76%(1샷) 및 77.59%(5샷)를 달성하여 기존 방법보다 우수하다.
• tiered ImageNet에서 LEO는 66.33%(1샷) 및 81.44%(5샷)를 달성하여 이전의 최고 성능을 상회한다.
• 소거 실험은 데이터 조건부 잠재 인코딩 및 잠재 공간 적응이 성능에 결정적임을 보여주며, 잠재 병목은 직접 파라미터 공간 적응보다 일반화를 크게 향상시킨다.
• 잠재 임베딩은 상당한 적응을 시각화하며, LEO 하에서 모델이 인코더 파생 코드에서 태스크-특정 적응 코드로 이동함을 보여준다.