[논문 리뷰] Self-supervised Pre-training with Hard Examples Improves Visual Representations

Chunyuan Li, Xiujun Li외 4명|arXiv (Cornell University)|2020. 12. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 16

한 줄 요약

이 논문은 적대적 훈련과 CutMix를 사용하여 어려운 증강 예제를 생성함으로써 더 도전적인 가짜 레이블 예측 작업을 만들고, 이로써 시각적 표현을 향상시키는 자기지도 학습 사전 훈련 프레임워크를 제안한다. 결과적으로 생성된 모델인 Hexa_MoCo와 Hexa_DCluster는 이미지넷 및 하류 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 낮은 supervision 설정에서 뛰어난 성능을 보이며, 어려운 예제가 자기지도 학습에서 일반화 능력을 향상시킨다는 것을 입증한다.

ABSTRACT

Self-supervised pre-training (SSP) employs random image transformations to generate training data for visual representation learning. In this paper, we first present a modeling framework that unifies existing SSP methods as learning to predict pseudo-labels. Then, we propose new data augmentation methods of generating training examples whose pseudo-labels are harder to predict than those generated via random image transformations. Specifically, we use adversarial training and CutMix to create hard examples (HEXA) to be used as augmented views for MoCo-v2 and DeepCluster-v2, leading to two variants HEXA_{MoCo} and HEXA_{DCluster}, respectively. In our experiments, we pre-train models on ImageNet and evaluate them on multiple public benchmarks. Our evaluation shows that the two new algorithm variants outperform their original counterparts, and achieve new state-of-the-art on a wide range of tasks where limited task supervision is available for fine-tuning. These results verify that hard examples are instrumental in improving the generalization of the pre-trained models.

연구 동기 및 목표

• 무작위 데이터 증강을 넘어서 더 도전적인 훈련 예제를 생성함으로써 자기지도 시각적 표현 학습을 향상시키는 것.
• 기존 방법들이 데이터 증강을 사전과제에 무관하게 취급하는 데서 비롯되는 격차를 해결하기 위해, 증강을 학습 목표에 명시적으로 맞추는 것.
• 가짜 레이블 예측이 어려운 어려운 예제가 사전 훈련된 모델의 일반화 능력을 향상시킬 수 있는지 조사하는 것.
• 가짜 레이블 분류로써 자기지도 사전 훈련을 위한 통합 프레임워크를 개발하여 어려운 예제의 체계적 생성을 가능하게 하는 것.
• 대조 학습 및 프로토타입 기반 학습을 포함한 다양한 자기지도 학습 방법에 걸쳐 어려운 예제의 효과성을 입증하는 것.

제안 방법

• 논문은 자기지도 사전 훈련을 가짜 레이블 분류 작업으로 공식화하며, 그 목표는 데이터 증강에서 유도된 가짜 레이블을 예측하는 데 있다.
• 어려운 예제는 입력 이미지를 모델의 예측 능력을 시험할 수 있도록 도전적으로 만드는 방식으로 적대적 훈련을 사용하여 생성된다.
• CutMix는 서로 다른 이미지의 패치를 붙여 넣어 의미적으로 모호한 예제를 생성함으로써 분류가 더 어려운 혼합-자르기 이미지를 만든다.
• 이 프레임워크는 기존의 두 방법(MoCo-v2(대조 학습) 및 DeepCluster-v2(프로토타입 학습))에 통합되어 Hexa_MoCo와 Hexa_DCluster를 도출한다.
• 제안된 방법은 표준 백본 네트워크와 프로젝션 헤드를 사용하며, 핵심 혁신은 데이터 증강 파이프라인에서 어려운 예제를 사용하는 데 있다.
• 훈련 목표는 그대로 대조 또는 클러스터링 손실을 유지하지만, 개선된 증강 시각의 품질이 향상된 특징 학습을 이끈다.

실험 결과

연구 질문

• RQ1 대상 데이터 증강을 통해 어려운 예제를 생성함으로써 자기지도 시각적 표현의 일반화 능력을 향상시킬 수 있는가?
• RQ2 자신의 지도 학습 사전 훈련에서 표준 무작위 증강과 비교해 적대적 및 CutMix 기반의 어려운 예제 사용은 어떤가?
• RQ3 제안된 프레임워크는 대조 학습 및 프로토타입 학습과 같은 다양한 자기지도 학습 목표에서 일관되게 성능 향상을 이끌 수 있는가?
• RQ4 어려운 예제가 1% ImageNet 레이블을 가진 반감독 학습과 같은 낮은 데이터 환경에서의 성능 향상에 어느 정도 기여하는가?
• RQ5 어려운 예제 기반 사전 훈련이 하류 작업 정확도 측면에서 표준 지도 학습 사전 훈련을 능가할 수 있는가?

주요 결과

• 8-크롭 증강을 사용한 Hexa_DCluster는 레이블이 1%인 경우 이미지넷에서 Top-1 정확도 57.3%를 달성하며, 800 에포크 동안 BYOL로 사전 훈련한 모델를 능가한다.
• 8-크롭 증강을 사용한 Hexa_DCluster+는 200 에포크 사전 훈련 후 이미지넷에서 Top-1 정확도 57.3%를 기록하며, 동일한 설정에서 기존의 모든 자기지도 학습 방법을 뛰어넘는다.
• VOC 객체 검출 벤치마크에서 Hexa_MoCo는 표준 증강을 사용한 MoCo-v2 사전 훈련 모델보다 우수한 성능을 보이며, 하류 검출 작업에서 일관된 성능 향상을 보인다.
• 반감독 학습에서 1% 레이블을 사용한 Hexa_DCluster는 Top-1 정확도 54.9%를 기록하며, 200 에포크 동안 SwAV로 사전 훈련한 모델(53.9% Top-1)을 크게 앞서며 뛰어난 성능을 보인다.
• 100% ImageNet 레이블로 파인튜닝한 경우 Hexa는 Top-1 정확도 78.6%를 달성하며, 지도 학습 기준선(76.5%)을 2.1% 포인트 초월한다.
• 결과적으로 어려운 예제가 모델의 일반화 능력을 크게 향상시키며, 특히 낮은 데이터 환경에서 두드러진 효과를 보이며, 제안된 프레임워크가 다양한 자기지도 학습 철학에 걸쳐 일반적이고 효과적이라는 것이 입증된다.