[논문 리뷰] BOIL: Towards Representation Change for Few-shot Learning

Jaehoon Oh, Hyung‐Jun Yoo외 2명|arXiv (Cornell University)|2020. 08. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 61

한 줄 요약

BOIL은 내부 루프에서 바디(특징 추출기)만 업데이트하고 헤드를 동결하여 표현 변화을 강제하고 MAML/ANIL 대비 크로스 도메인 소수 샷 학습을 개선합니다.

ABSTRACT

Model Agnostic Meta-Learning (MAML) is one of the most representative of gradient-based meta-learning algorithms. MAML learns new tasks with a few data samples using inner updates from a meta-initialization point and learns the meta-initialization parameters with outer updates. It has recently been hypothesized that representation reuse, which makes little change in efficient representations, is the dominant factor in the performance of the meta-initialized model through MAML in contrast to representation change, which causes a significant change in representations. In this study, we investigate the necessity of representation change for the ultimate goal of few-shot learning, which is solving domain-agnostic tasks. To this aim, we propose a novel meta-learning algorithm, called BOIL (Body Only update in Inner Loop), which updates only the body (extractor) of the model and freezes the head (classifier) during inner loop updates. BOIL leverages representation change rather than representation reuse. This is because feature vectors (representations) have to move quickly to their corresponding frozen head vectors. We visualize this property using cosine similarity, CKA, and empirical results without the head. BOIL empirically shows significant performance improvement over MAML, particularly on cross-domain tasks. The results imply that representation change in gradient-based meta-learning approaches is a critical component.

연구 동기 및 목표

• 도메인 독립적 적응을 위한 gradient 기반 메타학습에서 표현 변화의 필요성(재사용이 전부가 아님)을 동기화.
• BOIL 제안: 내부 루프 학습 동안 오직 바디만 업데이트하여 표현 변화를 유도한다.
• 경험적으로 BOIL을 MAML/ANIL과 크로스 도메인 및 미세 데이터셋에서 비교한다.
• 코사인 유사도와 CKA를 사용하여 BOIL의 표현 변화 dynamics를 분석한다.
• 더 깊은 네트워크로의 확장과 ablation 연구를 통해 통찰을 제공한다.

제안 방법

• 네트워크를 바디(컨볼루션 추출기)와 헤드(분류기)로 분할한다.
• 내부 루프에서 오직 바디만 업데이트하고(내부 업데이트를 위해 헤드의 학습률을 0으로 설정한다).
• BOIL 업데이트를 θ_b,τ_i = θ_b − α_b ∇_{θ_b} L_{S_τ_i}(f_θ) 와 θ_h,τ_i = θ_h (α_h = 0)으로 형식화한다.
• 표현 변화의 강조를 위해 MAML(α_b = α_h ≠ 0) 및 ANIL(α_b = 0, α_h ≠ 0)과 비교한다.
• 상위 층에서의 표현 변화를 보여주기 위해 계층별 코사인 유사도와 Centered Kernel Alignment (CKA)을 통한 해석 가능성을 제공한다.
• 높은 수준의 표현 변화를 촉진하기 위해 ResNet-12에서 마지막 스킵 연결을 제거하는 연결 끊김(trick)을 사용해 BOIL을 확장한다.

실험 결과

연구 질문

• RQ1 도메인 간 효과적인 메타학습을 위해 표현 변화가 필수적인가, 아니면 표현 재사용이 충분한가?
• RQ2 내부 루프에서 바디만 업데이트하는 것이 교차 도메인 및 미세 샷 성능을 향상시키는가?
• RQ3 코사인 유사도와 CKA로 측정한 BOIL 내부 표현은 MAML/ANIL에 비해 어떻게 진화하는가?
• RQ4 BOIL에서 헤드의 동결이 과적합에 어떤 영향을 미치며 보지 않은 도메인으로의 일반화에 어떤 영향을 주는가?
• RQ5 BOIL이 더 깊은 백본(예: ResNet-12)으로 확장될 수 있으며, 표현 변화 보존을 위한 아키텍처 조정은 무엇인가?

주요 결과

• BOIL은 Cars와 CUB에서 뚜렷한 이득을 보이며 여러 벤치마크 및 교차 도메인 데이터세트에서 MAML/ANIL보다 우수하다.
• BOIL은 일반-대-일반, 일반-대-특정, 새-차-전이 등 강력한 교차 도메인 적응을 달성한다.
• 표현 분석에서 BOIL은 저/중층에서 표현 재사용을 보이고 고층에서 표현 변화를 보이는 반면, MAML/ANIL은 주로 재사용을 보인다.
• 헤드 동결이 중요하며, 헤드 학습률이 작더라도 BOIL 성능이 저해된다.
• 더 깊은 네트워크(ResNet-12)에서의 연결 끊김 트릭은 고수준 표현 변화를 촉진하여 BOIL를 더욱 향상시킨다.
• BOIL은 프리컨디셔닝-gradient 관점과 결합하면 효과적이며 WarpGrad와의 통합 시 개선된다.