[논문 리뷰] Unraveling Meta-Learning: Understanding Feature Representations for Few-Shot Tasks

Micah Goldblum, Steven Reich외 4명|arXiv (Cornell University)|2020. 02. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 18

한 줄 요약

이 논문은 메타학습된 특징 추출기가 소수의 샘플에서 학습할 때 고전적으로 훈련된 모델보다 성능이 뛰어나게 되는 이유를 밝혀내며, 두 가지 핵심 메커니즘—내부 클래스 특징 클러스터링 향상과 임의의 작업별 최소값에 가까운 파라미터 위치—을 규명한다. 저자들은 표준 훈련을 향상시키기 위해 두 가지 정규화 항인 특징 클러스터링 및 가중치 클러스터링을 제안하며, 메타학습보다 약 10배 빠른 속도로 mini-ImageNet에서 최신 기술 성능을 달성한다(1-shot: 51.94%, 5-shot: 68.02%).

ABSTRACT

Meta-learning algorithms produce feature extractors which achieve state-of-the-art performance on few-shot classification. While the literature is rich with meta-learning methods, little is known about why the resulting feature extractors perform so well. We develop a better understanding of the underlying mechanics of meta-learning and the difference between models trained using meta-learning and models which are trained classically. In doing so, we introduce and verify several hypotheses for why meta-learned models perform better. Furthermore, we develop a regularizer which boosts the performance of standard training routines for few-shot classification. In many cases, our routine outperforms meta-learning while simultaneously running an order of magnitude faster.

연구 동기 및 목표

• 소수의 샘플에서 메타학습된 특징 표현과 고전적으로 훈련된 특징 표현 간의 근본적인 차이를 이해하는 것.
• 가벼운 모델을 사용함에도 불구하고 메타학습이 뛰어난 성능을 내는 이유를 조사하는 것.
• 메타최적화를 필요로 하지 않고도 표준 훈련을 향상시키기 위한 정규화 항을 개발하는 것.
• 개선된 특징 클러스터링과 작업 최소값에 가까운 파라미터 위치가 메타학습 성공의 핵심 요인임을 검증하는 것.

제안 방법

• 훈련 중에 내부 클래스 특징 분산을 최소화하는 특징 클러스터링 정규화 항을 제안하여 임베딩 공간에서 더 단단한 클래스 클러스터를 유도한다.
• 메타파rameter가 여러 작업별 최소값에 가까운 공통 영역 근처에 위치하도록 유도하는 가중치 클러스터링 정규화 항을 도입한다.
• 정규화 항을 Reptile 및 표준 훈련에 적용하며, 내부 루프 최적화에 정규화 항 R_i 를 손실에 포함시킨다.
• 내부 루프에서 지원 세트를 기반으로 미세조정하고, 외부 루프에서 쿼리 세트 성능에 기반한 메타업데이트를 수행하는 이중 최적화를 사용한다.
• 기울기 기반 메타학습 원리를 적용하지만, 모델 가중치 그 자체가 아니라 특징 공간의 인덕티브 바이어스에 적용한다.
• 제어된 초모수를 사용하여 1-shot 및 5-shot 5-way 분류 벤치마크에서 mini-ImageNet에서 정규화 항의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 유사한 아키텍처와 훈련 데이터를 사용함에도 불구하고, 메타학습된 모델이 소수의 샘플 설정에서 고전적으로 훈련된 모델보다 일반화 성능이 뛰어나게 되는 이유는 무엇인가?
• RQ2 메타학습된 특징 표현은 고전적 훈련 방식으로 학습된 표현과 구조적으로 어떻게 다를까?
• RQ3 간단한 정규화 항을 통해 메타학습의 인덕티브 바이어스를 식별하고 재현할 수 있는가?
• RQ4 내부 클래스 특징 클러스터링을 향상시키면 소수의 샘플에서의 일반화 성능이 향상되는가?
• RQ5 다수의 작업 최소값에 가까운 파라미터 위치는 메타학습 성능 향상의 핵심 요인인가, 그리고 정규화를 통해 이를 강화할 수 있는가?

주요 결과

• 제안된 가중치 클러스터링 정규화 항은 mini-ImageNet에서 Reptile의 1-shot 정확도를 51.94% ± 0.23%로 향상시켜 원래 Reptile(49.97%)와 FOMAML(48.07%)을 초월했다.
• 5-shot 작업에서는 정규화된 Reptile가 68.02% ± 0.22%를 기록하여 원래 Reptile(65.99%)와 FOMAML(63.15%)을 크게 앞서갔다.
• 정규화 항은 추론 시 미세조정 도중 모델 파라미터가 이동한 평균 필터 정규화 거리를 감소시켜 더 높은 안정성과 좋은 최소값에의 가까이 위치함을 시사했다.
• 특징 클러스터링 정규화 항만으로도 최적화 비용을 증가시키지 않고도 소수의 샘플 분류 성능을 향상시켰으며, 이는 내부 클래스의 밀도가 핵심 인덕티브 바이어스임을 확인했다.
• 정규화 항을 사용해 훈련된 네트워크는 작업 손실 곡면에서 더 평탄하고 넓은 최소값을 보였으며, 이는 일반화 성능 향상과 일치했다.
• 최고의 성능는 정규화 계수 5.0×10⁻⁵에서 달성되었지만, 이 값의 10배 이내의 범위(최대 10배 큰 또는 작은 값)에서도 여전히 성능 향상이 관찰되었다.