[논문 리뷰] Optimized Generic Feature Learning for Few-shot Classification across Domains

Tonmoy Saikia, Thomas Brox외 1명|arXiv (Cornell University)|2020. 01. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 29

한 줄 요약

이 논문은 도메인 간 소수 샘플 분류를 사용하여 일반화 능력이 뛰어난 특징을 학습하기 위한 초파rameter 최적화(HPO) 방법을 제안한다. 도메인 간 소수 샘플 작업에서 초파arameter를 최적화함으로써, Meta-Dataset에서 최신 기술 수준(SOTA) 성능을 달성하며, 이는 도메인 및 작업 간 일반화 능력 향상 덕분이다.

ABSTRACT

To learn models or features that generalize across tasks and domains is one of the grand goals of machine learning. In this paper, we propose to use cross-domain, cross-task data as validation objective for hyper-parameter optimization (HPO) to improve on this goal. Given a rich enough search space, optimization of hyper-parameters learn features that maximize validation performance and, due to the objective, generalize across tasks and domains. We demonstrate the effectiveness of this strategy on few-shot image classification within and across domains. The learned features outperform all previous few-shot and meta-learning approaches.

연구 동기 및 목표

• 소수 샘플 학습에서 예측 불가능한 작업과 도메인 간 학습된 특징의 일반화 능력을 향상시키기 위해.
• 단일 벤치마크 성능을 넘어서 특징 일반화 능력을 향상시키기 위해 초파arameter 최적화(HPO)가 기여할 수 있는지 조사하기 위해.
• 도메인 간 소수 샘플 작업을 HPO의 검증 목적으로 사용하는 것이 효과적인지 평가하기 위해.
• 특징의 강건성과 전이 가능성 향상에 기여하는 최적의 초파arameter 설정을 특정하기 위해.
• 모델 앙상블 및 데이터 증강과 결합했을 때 HPO가 일반화 능력을 향상시키는 데 얼마나 적합한지 평가하기 위해.

제안 방법

• 딥 네URAL 네트워크 특징 추출기의 구조적 초파aram터 공간을 탐색하기 위해 베이지안 최적화와 하이퍼밴드(BOHB)를 사용한다.
• 다양한 작업으로 구성된 검증 세트에서 소수 샘플 분류 정확도를 HPO의 목적 함수로 사용하며, 각 작업당 지원(set) 및 질의(set) 세트를 포함한다.
• 샘플링된 초파aram터를 사용해 소스 데이터셋(예: ImageNet)에서 특징 추출기를 훈련한 후, 검증 단계에서 소수 샘플 작업에서 평가한다.
• 초파람터 공간의 일부로 변수 수의 연산을 가진 데이터 증강을 적용하고, 그 구성도 최적화 대상으로 포함한다.
• 소수 샘플 평가를 위해 N-Centroid 분류기를 사용하며, 질의 세트에서의 정확도를 계산해 HPO를 이끌어낸다.
• 내부 도메인 및 도메인 간 HPO를 모두 수행하며, 검증 작업은 훈련과 다른 도메인에서 추출된다.

실험 결과

연구 질문

• RQ1 소수 샘플 분류를 검증 목적으로 사용한 초파람터 최적화가 도메인 간 일반화 능력을 향상시키는가?
• RQ2 내부 도메인 HPO와 비교해 도메인 간 HPO는 예측 불가능한 도메인에서의 소수 샘플 성능 향상에 얼마나 기여하는가?
• RQ3 학습률, 배치 크기, 옵티마이저, 데이터 증강 등의 초파람터 설정 중 어떤 것이 가장 좋은 일반화 능력을 제공하는가?
• RQ4 모델 앙상블과 결합했을 때 HPO가 성능 향상에 도움이 되는가?
• RQ5 일반적인 최적 실천 방법을 넘어서 일반화 능력을 향상시키는 비직관적인 초파람터 패턴을 HPO가 발견할 수 있는가?

주요 결과

• 도메인 간 소수 샘플 검증을 통한 HPO는 소수 샘플 분류 정확도를 크게 향상시켜 Meta-Dataset에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 최고 성능을 보인 모델(BOHB-NC-S2)은 각각 mini-ImageNet에서 66.41% ± 0.62, ImageNet-GBM에서 84.52% ± 0.41의 정확도를 기록하며 이전 방법들을 능가한다.
• HPO에서 상위 20개 모델을 앙상블하면 성능이 향상되어 D1에서 55.39% ± 1.06, D2에서 68.72% ± 0.87, D3에서 54.70% ± 1.02로 향상되었으며, 이는 앙상블과의 강력한 호환성을 보여준다.
• 낮은 학습률과 작은 배치 크기(예: 8)가 일관되게 더 좋은 성능을 보였으며, 이는 기존의 알려진 원칙을 이 설정에서 실험적으로 확인한 것이다.
• ImageNet-GBM에서는 SGD가 ADAM보다 성능이 뛰어났고, mini-ImageNet에서는 두 옵티마이저 모두 양호한 성능를 보였으며, 이는 도메인에 따라 최적의 선택이 달라질 수 있음을 시사한다.
• 일련의 하나 또는 두 개의 데이터 증강 연산(N_ops = 1 또는 2)이 최적임이 확인되었으며, 이는 중간 수준의 증강이 일반화 능력을 향상시킨다는 것을 의미한다.