[논문 리뷰] Hallucination Improves the Performance of Unsupervised Visual Representation Learning

Jing Wu, Jennifer Hobbs외 1명|arXiv (Cornell University)|2023. 07. 22.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 자기지도 학습 시각 표현 학습에서 대비 학습을 향상시키기 위해 특징 공간에서 합성된 양성 샘플을 생성하는 유연하고 즉각적인 모듈인 Hallucinator을 제안한다. 비대칭적 특징 외삽과 비선형 환각을 적용함으로써 특징의 분산을 증가시키고 모델의 강건성을 향상시켜, 선형 평가 및 후행 탐지/세분화 작업에서 CIFAR-10/100, Tiny ImageNet, STL-10, ImageNet에서 일관된 정확도 향상(0.3%에서 3.0%까지)을 달성한다.

ABSTRACT

Contrastive learning models based on Siamese structure have demonstrated remarkable performance in self-supervised learning. Such a success of contrastive learning relies on two conditions, a sufficient number of positive pairs and adequate variations between them. If the conditions are not met, these frameworks will lack semantic contrast and be fragile on overfitting. To address these two issues, we propose Hallucinator that could efficiently generate additional positive samples for further contrast. The Hallucinator is differentiable and creates new data in the feature space. Thus, it is optimized directly with the pre-training task and introduces nearly negligible computation. Moreover, we reduce the mutual information of hallucinated pairs and smooth them through non-linear operations. This process helps avoid over-confident contrastive learning models during the training and achieves more transformation-invariant feature embeddings. Remarkably, we empirically prove that the proposed Hallucinator generalizes well to various contrastive learning models, including MoCoV1&V2, SimCLR and SimSiam. Under the linear classification protocol, a stable accuracy gain is achieved, ranging from 0.3% to 3.0% on CIFAR10&100, Tiny ImageNet, STL-10 and ImageNet. The improvement is also observed in transferring pre-train encoders to the downstream tasks, including object detection and segmentation.

연구 동기 및 목표

• 대비 학습의 한계, 특히 낮은 분산으로 인한 부족한 양성 쌍 다양성과 과적합 문제를 해결하기 위해.
• 이미지 수준의 데이터 증강 및 생성적 환각 방법의 계산 부담과 열악한 성능을 해결하기 위해.
• 학습 계산을 늘리지 않으며 하이퍼파라미터 튜닝이 필요 없는 경량의 유연한 모듈을 개발하여 대비 학습을 향상시키기 위해.
• 특징 공간에서 의미적으로 유의미하고 변환에 강건한 양성 쌍을 생성함으로써 특징의 일반화 및 불변성을 향상시키기 위해.
• MoCoV2, SimCLR, SimSiam와 같은 최신 대비 학습 프레임워크 전반에 걸쳐 넓은 호환성과 일관된 성능 향상을 입증하기 위해.

제안 방법

• Hallucinator는 시아미스 대비 학습 프레임워크의 인코더 이후에 삽입되어 특징 공간에서 직접 추가적인 양성 샘플을 생성한다.
• 서로 다른 양성 쌍 간의 분산을 증가시키기 위해 비대칭적 특징 외삽을 적용하여 상호 정보를 감소시키고 잠재적인 대비 신호를 방지한다.
• 외삽된 특징에 비선형 환각 과정을 적용하여 부드럽고 작업에 관련된 변환을 도입하며, 이는 유연하고 훈련 가능한 특징이다.
• 환각된 특징는 주 대비 학습 목표와 함께 종단 간 최적화되어 추가 추론 비용 없이 공동 훈련이 가능하다.
• 이 방법은 오직 양성 샘플에 의존하므로, 어떤 시아미스 기반 대비 학습 모델에도 즉시 적용 가능한 플러그 앤 플레이 모듈이다.
• 환각 과정 중에 의미 일관성을 확보하고 잘못된 양성 샘플을 방지하기 위해 한 분기에서 중심 자르기(center cropping)를 사용한다.

실험 결과

연구 질문

• RQ1 특징 공간에서 합성된 양성 샘플을 생성함으로써 대비 자기지도 학습 모델의 성능 향상이 가능할까?
• RQ2 특징 공간에서 유연하고 비선형적인 환각 과정이 전통적인 데이터 증강보다 더 나은 특징 불변성과 일반화를 이끌 수 있을까?
• RQ3 서로 대칭적인 방법에 비해 비대칭적 특징 외삽은 양성 쌍 간의 상호 정보를 얼마나 효과적으로 감소시키는가?
• RQ4 제안된 Hallucinator는 MoCoV2, SimCLR, SimSiam와 같은 다양한 대비 학습 프레임워크에 효과적으로 일반화될 수 있는가?
• RQ5 환각된 표현은 객체 탐지 및 인스턴스 세분화와 같은 후행 작업으로의 이식 가능성에서 얼마나 향상되는가?

주요 결과

• Hallucinator는 선형 분류 프rotocol 하에서 CIFAR-10/100, Tiny ImageNet, STL-10, ImageNet 등 여러 벤치마크에서 안정적인 정확도 향상(0.3%에서 3.0%까지)을 달성한다.
• 이 방법은 후행 작업에서의 이식 성능을 향상시키며, PASCAL VOC에서의 객체 탐지에서는 0.3%에서 0.8%의 성능 향상을 보이고, COCO 탐지 및 인스턴스 세분화 작업에서도 일관된 향상이 관찰된다.
• 최적의 설정은 환각 헤드에 비선형 레이어를 세 개 사용하고, 비대칭 외삽에서 β₁=0.0 및 β₂=1.0을 사용할 때 성능이 가장 우수하다.
• 중심 자르기 비율 p=0.5에서 0.6 사이를 사용하면 의미적 콘텐츠를 유지하면서 잘못된 양성 샘플을 줄여 환각 품질을 향상시킨다.
• 제거 실험 결과 비대칭 외삽과 비선형 환각이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능 저하가 발생한다.
• MoCoV1/V2, SimCLR, SimSiam와 같은 여러 대비 학습 모델에 대해 잘 일반화되며, 모델별 특화 튜닝 없이도 성능 향상을 보인다.