[논문 리뷰] Improving Transformation Invariance in Contrastive Representation Learning

Adam Foster, Rattana Pukdee외 1명|arXiv (Cornell University)|2020. 10. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 9

한 줄 요약

이 논문은 대조적 표현 학습에서 변환 불변성을 명시적으로 강제하기 위해 기울기 기반 정규화를 제안하며, 이로 인해 내성적 안정성과 최종 작업 성능이 향상된다. 또한 테스트 시점에 여러 변환된 입력에 대한 특징 평균화를 도입하여, CIFAR-10/100 및 새로운 Spirograph 데이터셋에서 최신 기준 성능을 달성하며 분포 이탈 상황에서도 불변성과 일반화 능력을 향상시킨다.

ABSTRACT

We propose methods to strengthen the invariance properties of representations obtained by contrastive learning. While existing approaches implicitly induce a degree of invariance as representations are learned, we look to more directly enforce invariance in the encoding process. To this end, we first introduce a training objective for contrastive learning that uses a novel regularizer to control how the representation changes under transformation. We show that representations trained with this objective perform better on downstream tasks and are more robust to the introduction of nuisance transformations at test time. Second, we propose a change to how test time representations are generated by introducing a feature averaging approach that combines encodings from multiple transformations of the original input, finding that this leads to across the board performance gains. Finally, we introduce the novel Spirograph dataset to explore our ideas in the context of a differentiable generative process with multiple downstream tasks, showing that our techniques for learning invariance are highly beneficial.

연구 동기 및 목표

• 학습 중에 불변성을 명시적으로 강제하여 대조적 표현 학습에서 변환 불변성을 향상시키는 것.
• 기존의 테스트 시점 표현이 변환되지 않은 입력에 의존하고 다중 시점 정보를 통합하지 못하는 한계를 해결하는 것.
• 소음이 되는 변환을 제거하면서 의미 정보를 유지하는 방법을 개발하여 내성적 안정성과 일반화 능력을 향상시키는 것.
• 새로운 미분 가능한 생성 데이터셋(Spirograph)을 포함한 다양한 벤치마크에서 접근법을 검증하여 불변성과 최종 작업 성능을 평가하는 것.
• 학습-테스트 분포 이탈 상황에서 성능 향상과 함께 학습된 표현에서 변환 파라미터 복구 가능성 감소를 입증하는 것.

제안 방법

• 지속적인 변환에 대해 인코더 출력이 느리게 변하도록 제약하는 새로운 기울기 정규화 항을 대조 손실에 도입하여 불변성을 촉진하는 것.
• 미분 가능한 변환 과정을 사용하여 소음 인자를 제어할 수 있는 데이터를 생성함으로써 불변성의 정밀한 분석을 가능하게 하는 것.
• 동일한 입력의 여러 변환된 시점의 표현을 인코딩하고 평균을 내어 테스트 시점 특징 평균화를 제안함으로써 불변성을 향상시키는 것.
• 기존 대조 학습 목표에 기울기 정규화 항을 추가하여 인코더를 훈련함과 동시에 핵심 대조 손실을 그대로 유지하는 것.
• 선형 평가 프로토콜과 생성 파라미터 회귀를 사용하여 불변성과 최종 작업 유용성을 측정하는 성능 평가를 수행하는 것.
• 다양한 제어 가능한 요소를 가진 완전히 미분 가능한 생성 과정으로서 Spirograph 데이터셋을 설계하여 불변성의 제어된 연구를 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 기본적인 데이터 증강에 의해 암시적으로 확보되는 불변성 외에, 명시적인 기울기 정규화가 대조 표현의 불변성을 향상시킬 수 있는가?
• RQ2 기본적인 추론 방식(변환되지 않은 입력 사용)에 비해, 테스트 시점 특징 평균화가 더 내성적이고 안정된 표현을 제공하는가?
• RQ3 소음 변환이 학습 분포와 다를 경우, 특히 테스트 시점 분포 이탈 상황에서 제안된 방법의 성능은 어떻게 되는가?
• RQ4 학습된 표현이 변환 파라미터 복구 가능성을 어느 정도 감소시키는가? 이는 더 강력한 불변성을 나타내는가?
• RQ5 제안된 방법은 다중 최종 작업이 존재하는 복잡한, 미분 가능한 생성 과정으로 일반화되는가?

주요 결과

• 기울기 정규화 항은 표현에서 변환 파라미터 복구 가능성을 크게 감소시켰으며, Spirograph 데이터셋에서 $f_r$의 테스트 MSE는 0.0000232에서 0.0000028로 감소하였다.
• CIFAR-100에서 정규화가 적용된 모델은 테스트 시점 색상 왜곡의 다양한 분산 스케일링 조건에서 표준 대조 학습보다 우수한 성능을 보이며 내성적 안정성이 향상됨을 보였다.
• 테스트 시점 특징 평균화로 모든 최종 작업 및 데이터셋에서 일관된 성능 향상이 발생하였으며, 선형 평가 정확도 향상에 이론적 및 실험적 근거가 있었다.
• Spirograph 데이터셋에서 기울기 정규화는 모든 생성 파라미터의 테스트 MSE를 감소시켰다: $m$은 0.0006773에서 0.0005073으로, $b$는 0.0112480에서 0.0073607로, $\sigma$는 0.0000914에서 0.0000527로, $f_r$은 0.0000232에서 0.0000028로 감소하였다.
• Spirograph에서 평균 이탈 및 분산 증가 분포 이탈 상황에서도 제안된 방법은 뛰어난 성능 유지를 보이며, 테스트 시점 분포 이탈에 대한 내성적 안정성을 입증하였다.
• 학습 시 기울기 정규화와 테스트 시 특징 평균화의 조합은 표준 벤치마크에서 최신 기준 성능을 달성하였으며, 다양한 생성 설정에서 효과적인 표현 학습을 가능하게 하였다.