[논문 리뷰] Regularizing Meta-Learning via Gradient Dropout

Hung-Yu Tseng, Yiwen Chen외 4명|arXiv (Cornell University)|2020. 04. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 6

한 줄 요약

이 논문은 메타학습을 위한 그래디언트 드롭아웃 정규화 방법인 DropGrad를 제안한다. 이 방법은 내부 루프 최적화 중에 그래디언트를 무작위로 제거하여 일반화 성능을 햖थ한다. 베르누이 또는 가우시안 노이즈를 그래디언트에 적용함으로써 DropGrad는 소수의 샘플로 학습하는 경우 과적합을 줄이며, 모델에 특화된 수정 없이도 이미지 분류, 객체 추적, 시점 추정과 같은 비전 과제에서 일관되게 성능을 향상시킨다.

ABSTRACT

With the growing attention on learning-to-learn new tasks using only a few examples, meta-learning has been widely used in numerous problems such as few-shot classification, reinforcement learning, and domain generalization. However, meta-learning models are prone to overfitting when there are no sufficient training tasks for the meta-learners to generalize. Although existing approaches such as Dropout are widely used to address the overfitting problem, these methods are typically designed for regularizing models of a single task in supervised training. In this paper, we introduce a simple yet effective method to alleviate the risk of overfitting for gradient-based meta-learning. Specifically, during the gradient-based adaptation stage, we randomly drop the gradient in the inner-loop optimization of each parameter in deep neural networks, such that the augmented gradients improve generalization to new tasks. We present a general form of the proposed gradient dropout regularization and show that this term can be sampled from either the Bernoulli or Gaussian distribution. To validate the proposed method, we conduct extensive experiments and analysis on numerous computer vision tasks, demonstrating that the gradient dropout regularization mitigates the overfitting problem and improves the performance upon various gradient-based meta-learning frameworks.

연구 동기 및 목표

• 소수의 훈련 태스크가 존재할 때 기반 그래디언트 메타학습에서 과적합 문제를 해결하기 위해.
• 기존 드롭아웃이 메타-루프 및 내부 루프 파라미터 간 무작위성의 일관성 부족으로 인해 실패하는 메타학습에 효과적인 정규화 방법을 개발하기 위해.
• 모델에 종속되지 않은 일반화 가능한 정규화 기법을 제안하기 위해.
• 다양한 메타학습 프레임워크에 적용 가능한 그래디언트 드롭아웃의 효과를 입증하기 위해, 특히 도메인 간 소수의 학습을 포함한 과제들에 대해.

제안 방법

• DropGrad는 메타학습의 내부 루프 최적화 중에 스트로스틱 그래디언트 드롭아웃을 적용하여, 모델 파라미터 갱신에 사용되는 그래디언트에 직접 노이즈를 주입한다.
• 이 방법은 베르누이 또는 가우시안 분포에서 샘플된 노이즈를 사용해 그래디언트를 흐트리는 일반적인 그래디언트 정규화 형태를 취한다.
• 정규화는 메타학습 중에 적용되어 메타-파라미터 θ와 적응된 파라미터 θ′ 간 일관된 무작위성을 보장하며, 드롭아웃 패턴의 불일치를 방지한다.
• 이 방법은 모델에 종속되지 않으며, MAML, Meta-Tracker, MetaView와 같은 기존 기반 그래디언트 메타학습 프레임워크에 최소한의 수정으로 통합할 수 있다.
• 노이즈 주입은 네트워크의 각 파라미터에 대해 적용되며, 드롭아웃 비율과 같은 하이퍼파라미터는 최적의 성능을 위해 조정된다.
• 이 방법은 소수의 분류, 온라인 추적, 시점 추정 과제 등 표준 프로토콜을 기반으로 평가된다.

실험 결과

연구 질문

• RQ1 훈련 태스크가 제한되었을 때 그래디언트 수준의 정규화가 메타학습에서 과적합을 완화할 수 있는가?
• RQ2 활성화나 가중치가 아닌 그래디언트에 드롭아웃을 적용하는 것이 소수의 학습에서 일반화 성능을 향상시키는가?
• RQ3 일관된 정규화 기법이 다양한 메타학습 프레임워크와 과제에 효과적으로 적용될 수 있는가?
• RQ4 도메인 이동이 일반화 난이도를 높이는 도메인 간 소수의 학습에서 그래디언트 드롭아웃은 어떻게 성능을 발휘하는가?

주요 결과

• DropGrad는 시점 추정 벤치마크에서 mini-ImageNet의 소수의 분류 정확도를 1.16% 향상시켜 45.00%에서 46.16%로 개선했다.
• OTB2015에서 온라인 객체 추적의 정밀도와 성공률 모두 향상되었으며, MetaCREST와 MetaSDNet 추적기에서 일관된 성능 향상이 관찰되었다.
• 도메인 간 소수의 분류(예: mini-ImageNet에서 CUB로)에서 DropGrad는 일반화 성능을 크게 향상시켜 도메인 이동에 대한 강건성을 입증했다.
• 0.2의 비율을 가진 가우시안 드롭아웃 버전은 추적 성능을 향상시켰고, 0.1의 비율이 시점 추정에 최적의 성능을 냈다.
• 광범위한 아블레이션 분석 결과, 후행 레이어에 그래디언트 드롭아웃을 적용할 경우 더 강한 성능 향상이 나타나, 레이어별 민감도를 시사했다.
• 이 방법은 다양한 프레임워크로 일반화되었으며, 메트릭 기반 및 그래디언트 기반 메타학습 환경 모두에서 성능 향상을 이뤘다.