[논문 리뷰] TaskNorm: Rethinking Batch Normalization for Meta-Learning

John Bronskill, Jonathan Gordon외 3명|arXiv (Cornell University)|2020. 03. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 30

한 줄 요약

TaskNorm는 컨텍스트 세트 통계와 per-example 통계를 결합하여 많은 데이터셋에서 학습 속도와 테스트 성능을 향상시키는 메타 학습에 맞춘 정규화를 제안한다.

ABSTRACT

Modern meta-learning approaches for image classification rely on increasingly deep networks to achieve state-of-the-art performance, making batch normalization an essential component of meta-learning pipelines. However, the hierarchical nature of the meta-learning setting presents several challenges that can render conventional batch normalization ineffective, giving rise to the need to rethink normalization in this setting. We evaluate a range of approaches to batch normalization for meta-learning scenarios, and develop a novel approach that we call TaskNorm. Experiments on fourteen datasets demonstrate that the choice of batch normalization has a dramatic effect on both classification accuracy and training time for both gradient based and gradient-free meta-learning approaches. Importantly, TaskNorm is found to consistently improve performance. Finally, we provide a set of best practices for normalization that will allow fair comparison of meta-learning algorithms.

연구 동기 및 목표

• 표준 배치 정규화가 메타 학습 설정에서 가지는 한계를 강조한다.
• 메타 학습에 맞춤화된 정규화 스킴으로 TaskNorm을 제안한다.
• 다양한 데이터셋과 메타 학습 알고리즘 전반에서 TaskNorm의 일관된 성능 향상을 보여준다.
• 메타 학습 연구에서 공정한 정규화 비교를 위한 모범 사례 권고를 제공한다.

제안 방법

• 메타 학습을 계층 확률 모델로 간주하여 태스크-로컬 정규화 통계를 정당화한다.
• MetaBN을 태스크-로컬 배치 정규화 변형으로 소개한다.
• 문맥 세트의 크기에 의존하는 학습 가능한 alpha를 사용하여 컨텍스트 세트 모먼트와 비전달성(non-transductive) 예시 모먼트를 혼합해 TaskNorm을 개발한다.
• BN 모먼트와 예시별 모먼트를(alpha로 제어되는 혼합) 결합하는 식으로 풀된 모먼트 mu_TN과 sigma_TN^2를 정의한다.
• 레이어 간 컨텍스트 세트 크기에 적응하도록 alpha를 sigmoid(scale * |D^tau| + offset)로 매개화한다.
• 여러 데이터세트에서 TaskNorm을 기존 BN, 전달형(transductive) BN, 인스턴스 기반 정규화와 비교한다.

실험 결과

연구 질문

• RQ1 정규화의 선택이 서로 다른 데이터셋과 알고리즘에서 메타 학습의 성능과 학습 속도에 어떤 영향을 미치는가?
• RQ2 메타 학습 인식 정규화(TaskNorm)가 표준 BN 및 다른 NL들보다 특히 소샷에서 더 우수한가?
• RQ3 전달성(transductive) 대 비전달성(non-transductive) 정규화가 메타 학습 비교에 미치는 영향은 무엇이며, 이를 어떻게 표기해야 하는가?
• RQ4 테스트 정보를 누출하지 않으면서 태스크-레벨 구조를 반영하기 위해 메타 학습에서 정규화 통계를 어떻게 계산해야 하는가?

주요 결과

• 정규화 선택이 그래디언트 기반 및 그래디언트 없는 메타 학습에서 정확도와 학습 시간에 큰 영향을 준다.
• TaskNorm이 fourteen datasets 전반에 걸쳐 경쟁 정규화 방식 대비 일관되게 성능을 향상시킨다.
• 전달형 BN(TBN)은 종종 더 높은 정확도를 보이지만 공정하고 비전달 비교 및 스트리밍/테스트 시나리오에서 문제가 된다.
• 메타BN과 TaskNorm(특히 TaskNorm-I 및 TaskNorm-L 변형)은 비전달 성능이 강하고 학습도 효율적이다.
• 작은 컨텍스트(regime)에서 TaskNorm의 컨텍스트 모먼트와 예시 모먼트의 혼합은 컨텍스트 전용 방법보다 더 견고한 통계를 제공한다.