[논문 리뷰] Learning where to learn: Gradient sparsity in meta and continual learning

Johannes von Oswald, Dominic Zhao외 5명|Zurich Open Repository and Archive (University of Zurich)|2021. 01. 01.

Domain Adaptation and Few-Shot Learning인용 수 24

한 줄 요약

이 논문은 per-parameter gradient masking을 통해 어떤 가중치를 업데이트할지 학습하는 sparse-MAML을 제시합니다. 이로써 희소한 그래디언트 디센트를 만들어 일반화 성능을 향상시키고 몇-shot 및 지속 학습에서의 간섭을 감소시키며 다양한 아키텍처와 과제에 걸쳐 효과를 보입니다.

ABSTRACT

Finding neural network weights that generalize well from small datasets is difficult. A promising approach is to learn a weight initialization such that a small number of weight changes results in low generalization error. We show that this form of meta-learning can be improved by letting the learning algorithm decide which weights to change, i.e., by learning where to learn. We find that patterned sparsity emerges from this process, with the pattern of sparsity varying on a problem-by-problem basis. This selective sparsity results in better generalization and less interference in a range of few-shot and continual learning problems. Moreover, we find that sparse learning also emerges in a more expressive model where learning rates are meta-learned. Our results shed light on an ongoing debate on whether meta-learning can discover adaptable features and suggest that learning by sparse gradient descent is a powerful inductive bias for meta-learning systems.

연구 동기 및 목표

• gradient masking을 통해 어디를 학습할지 학습하는 것이 표준 MAML보다 일반화에 더 나은지 조사한다.
• 계층 및 과제에 따라 emergent gradient 희소성 패턴이 어떻게 다르게 나타나는지 분석한다.
• 희소 그래디언트 업데이트가 few-shot 성능, 교차 도메인 적응 및 지속 학습에 미치는 영향을 Examine한다.
• 스페이스-MAML 및 그 변형을 기존의 그래디언트 모듈레이션 방법과 비교한다.
• 더 깊은 모델과 온라인 지속 학습 설정으로의 확장성을 탐구한다.

제안 방법

• 내부 루프 업데이트를 조절하는 이진 gradient mask m을 도입하여 phi_{tau,k+1}=phi_{tau,k}-alpha * (1_{m>=0} ∘ ∇_phi L_in_tau(phi_{tau,k}))로 표현한다.
• 외부 손실 그래디언트와 축적된 내부 루프 그래디언트를 맞추는 1차 메타그래디언트를 통해 m을 업데이트한다.
• 비미분 가능 마스크를 역전파하기 위해 straight-through 추정치를 사용한다.
• ConvNet 및 ResNet-12를 사용하는 5-way miniImageNet에 sparse-MAML를 적용하고 1-shot 및 5-shot 규칙을 평가한다.
• MAML, ANIL, BOIL, Meta-SGD, MT-nets 및 sparse-ReLU 또는 이진 마스크 변형과 비교한다.
• La-MAML 및 sparse-La-MAML(그리고 sparse-ReLU 변형)을 결합하여 지속 학습으로 확장한다.

실험 결과

연구 질문

• RQ1 가중치를 어디를 적응할지 학습하는 것이 (그래디언트 마스크를 통해) 표준 MAML이나 ANIL보다 몇-shot 일반화에 더 나은가?
• RQ2 계층 및 과제에 따라 나타나는 희소성 패턴은 네트워크 깊이와 데이터 규칙에 어떻게 관련되어 있는가?
• RQ3 희소 그래디언트 업데이트가 교차 도메인 적응 및 지속 학습에서 간섭을 줄이는가?
• RQ4 희소-MAML 변형들(이진 마스크 대 보정 학습률)은 성능과 희소성 면에서 어떻게 비교되는가?

주요 결과

• Sparse-MAML은 초기 레이어에서 증가하고 더 깊은 레이어로 갈수록 감소하는 그래디언트 희소성을 유도하며, 이는 더 나은 few-shot 성능과 양의 상관관계가 있다.
• 내부 루프 단계가 더 많고 내부 루프 학습률이 클수록 더 많은 희소성과 일반화 향상이 촉진된다.
• 이진 그래디언트 마스크와 보정된 학습률 변형 모두 강한 성능을 달성할 수 있으며, sparse-ReLU-MAML은 ResNet-12와 같은 더 깊은 모델에서 특히 좋은 성능을 보인다.
• 희소 학습은 cross-domain 적응(miniImageNet에서 TieredImageNet, CUB, Cars)에서 수작업으로 구성된 동결 베이스라인보다 더 나은 성능을 보인다.
• 지속 학습에서 sparse-La-MAML 및 sparse-ReLU-C-MAML은 유지된 정확도를 유지하거나 향상시키고 작업 간 간섭을 감소시키며, 희소성 패턴이 용량 및 작업 구조에 적응한다.
• 전반적으로 sparse gradient descent는 few-shot 및 지속 학습 환경 전반에서 일반화를 개선하고 망각을 줄이는 강력한 귀납 편향으로 작용한다.