[논문 리뷰] MetAug: Contrastive Learning via Meta Feature Augmentation

Jiangmeng Li, Wenwen Qiang외 3명|arXiv (Cornell University)|2022. 03. 10.

Domain Adaptation and Few-Shot Learning인용 수 14

한 줄 요약

MetAug는 표현 공간 내 잠재 특징을 직접적으로 향상시켜 대비적 자기지도 학습을 향상시키는 메타학습 기반의 특징 증강 프레임워크를 제안한다. 인코더 성능 피드백를 통해 업데이트되는 메타 특징 증강 생성기와 최적화 기반의 통합 대비 손실 함수를 사용함으로써, MetAug는 작은 배치 크기에서 뛰어난 성능을 기록하고 약한 데이터 증강에 대해서도 강건성을 확보한다.

ABSTRACT

What matters for contrastive learning? We argue that contrastive learning heavily relies on informative features, or "hard" (positive or negative) features. Early works include more informative features by applying complex data augmentations and large batch size or memory bank, and recent works design elaborate sampling approaches to explore informative features. The key challenge toward exploring such features is that the source multi-view data is generated by applying random data augmentations, making it infeasible to always add useful information in the augmented data. Consequently, the informativeness of features learned from such augmented data is limited. In response, we propose to directly augment the features in latent space, thereby learning discriminative representations without a large amount of input data. We perform a meta learning technique to build the augmentation generator that updates its network parameters by considering the performance of the encoder. However, insufficient input data may lead the encoder to learn collapsed features and therefore malfunction the augmentation generator. A new margin-injected regularization is further added in the objective function to avoid the encoder learning a degenerate mapping. To contrast all features in one gradient back-propagation step, we adopt the proposed optimization-driven unified contrastive loss instead of the conventional contrastive loss. Empirically, our method achieves state-of-the-art results on several benchmark datasets.

연구 동기 및 목표

• 작은 배치 크기에서 전통적인 대비 학습이 정보성 특징을 효율적으로 활용하는 데에 한계가 있다는 문제를 해결하기 위해.
• 제한된 데이터에서 특징이 붕괴되는 현상으로 인해 발생하는 자기지도 표현 학습의 열화 문제를 극복하기 위해.
• 대규모 데이터 증강과 메모리 백업에 대한 의존도를 줄이기 위해, 잠재 공간 내 특징의 정보성 직접 향상시키기 위해.
• 인코더 피드백에 기반해 적응적으로 정보성 특징 증강을 생성하는 메타학습 기반의 프레임워크를 개발하기 위해.
• 성능 저하 없이 일반 신경망과 작은 학습 배치를 사용하여 효율적이고 확장 가능한 대비 학습을 가능하게 하기 위해.

제안 방법

• 잠재 공간에서 시각별 특징 증강을 학습하는 메타 특징 증강 생성기(MAG)를 도입한다.
• 특정 학습 반복에서 인코더의 성능에 기반해 MAG 파라미터를 메타학습을 통해 업데이트함으로써 적응적 증강을 가능하게 한다.
• 인코더가 열화된 매핑을 학습하는 것을 방지하기 위해 목적 함수에 마진을 삽입한 정규화를 적용한다.
• 모든 원본 및 증강된 특징을 한 번의 역전파 단계에서 대비하는 최적화 기반의 통합 대비 손실 함수를 제안한다.
• 가중치 인자 Γ의 변형인 ̄Γ = Γ / φ_dec를 사용하며, 여기서 φ_dec는 선형 감쇠 계수로 조기 수렴을 방지하기 위함이다.
• 메서드를 분리하여 MetAug가 기존의 최첨단 대비 학습 프레임워크들(예: CMC, NNCLR)과 통합될 수 있도록 한다.

실험 결과

연구 질문

• RQ1 잠재 특징의 직접적인 증강이 대비적 자기지도 학습에서 표현의 정보성 향상에 기여할 수 있는가?
• RQ2 메타학습을 어떻게 활용하여 잠재 공간에서 성능 기반의 적응적 특징 증강을 생성할 수 있는가?
• RQ3 제안된 방법은 기존의 대비 학습과 비교해 작은 배치 학습 환경에서 특징 붕괴 문제를 완화하는가?
• RQ4 MetAug는 자기지도 학습에서 일반적으로 사용되는 약한 또는 표준 데이터 증강에 대해 어느 정도 강건한가?
• RQ5 통합 대비 손실 함수와 마진 삽입 정규화가 최적화 안정성과 표현 품질 향상에 효과적으로 기여하는가?

주요 결과

• MetAug는 CIFAR-10, CIFAR-100, Tiny ImageNet 등 다양한 벤치마크 데이터셋에서 작은 배치 크기 설정에서도 최첨단 성능을 기록한다.
• ResNet-50 백본을 사용한 CIFAR-10에서 MetAug는 선형 평가 상위-1 정확도 92.7%를 달성하여 이전의 SOTA 방법들을 능가한다.
• 약한 데이터 증강(예: 수평 반전과 회전만) 조건에서도 MetAug는 성능이 1.60% 감소에 그치며, LooC 대비 2.44% 감소보다 훨씬 강건함을 입증한다.
• ̄Γ = Γ / φ_dec의 변형은 성능 향상에 크게 기여하며, 컨볼루션 인코더를 사용한 Tiny ImageNet에서 φ_dec = 6일 때 최고의 정확도를 기록한다.
• CMC 및 NNCLR와 같은 기존 최첨단 프레임워크에 적용했을 때, MetAug는 다양한 백본에서 일관되게 최종 선형 평가 정확도를 향상시킨다.
• 메서드가 아키텍처 수정 없이 다양한 인코더와 데이터셋에서 강력한 일반화 능력을 보이며 성능 향상을 이룬다.