[논문 리뷰] TiCo: Transformation Invariance and Covariance Contrast for Self-Supervised Visual Representation Learning

Jiachen Zhu, Rafael M. Moraes외 4명|arXiv (Cornell University)|2022. 06. 21.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

TiCo는 임베딩의 정규화를 통해 비정상적인 해를 방지하기 위해 변환 불변성과 공분산 대비를 동시에 최적화하는 자기지도 학습 시각 표현 학습 방법을 제안한다. 암묵적인 메모리 백업을 활용하고 대비 및 부족 감소 원리를 연결함으로써, TiCo는 ImageNet 선형 프로빙 및 객체 검출 벤치마크에서 최신 기술 수준의 성능을 달성한다. 특히 작은 배치 크기에서도 뛰어난 성능을 발휘한다.

ABSTRACT

We present Transformation Invariance and Covariance Contrast (TiCo) for self-supervised visual representation learning. Similar to other recent self-supervised learning methods, our method is based on maximizing the agreement among embeddings of different distorted versions of the same image, which pushes the encoder to produce transformation invariant representations. To avoid the trivial solution where the encoder generates constant vectors, we regularize the covariance matrix of the embeddings from different images by penalizing low rank solutions. By jointly minimizing the transformation invariance loss and covariance contrast loss, we get an encoder that is able to produce useful representations for downstream tasks. We analyze our method and show that it can be viewed as a variant of MoCo with an implicit memory bank of unlimited size at no extra memory cost. This makes our method perform better than alternative methods when using small batch sizes. TiCo can also be seen as a modification of Barlow Twins. By connecting the contrastive and redundancy-reduction methods together, TiCo gives us new insights into how joint embedding methods work.

연구 동기 및 목표

• 자기지도 표현 학습에서 모델이 일정한 임베딩으로 붕괴되는 비정상적인 해 문제를 해결하기 위해.
• 임베딩에 대한 공통 최적화 목표를 통해 대비 학습과 부족 감소 방법을 통합하기 위해.
• 암묵적으로 큰 메모리 백업을 시뮬레이션함으로써, 작은 배치 크기에서도 효과적인 자기지도 학습을 가능하게 하기 위해.
• 공분산 행렬과 그람 행렬 간의 이중성에 대한 이론적 및 실증적 통찰을 제공하기 위해.

제안 방법

• TiCo는 변환 불변성 손실과 공분산 대비 손실을 동시에 최소화하여 임베딩을 정규화한다.
• 공분산 대비 손실은 임베딩의 공분산 행렬이 전위수를 가지도록 유도함으로써, 낮은 질서의 해를 방지한다.
• 이 방법은 암묵적이고 무한한 메모리 백업을 가진 MoCo와 이론적으로 동일하며, 명시적 메모리 저장이 필요 없어진다.
• 또한 공분산 행렬에 대해 지수 이동 평균을 적용한 Barlow Twins의 변종으로 볼 수도 있다.
• 고유값에 대한 제약을 강제하기 위해 정규화가 적용되어, 모든 고유값이 사라지는 비정상적인 해를 방지한다.
• 이 접근법은 그람 행렬과 공분산 행렬을 상호 이중으로 간주함으로써, 대비 학습과 부족 감소 방법을 통합적으로 이해할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 명시적인 메모리나 정규화 없이도, 자기지도 학습 방법이 데이터 증강에 대한 불변성과 비정상적인 해를 방지할 수 있는가?
• RQ2 변환 불변성과 공분산 정규화 간의 상호작용이 표현 품질을 어떻게 향상시키는가?
• RQ3 통합 임베딩 프레임워크에서 대비 학습과 부족 감소 간의 이론적 관계는 무엇인가?
• RQ4 대비 학습과 부족 감소 성질을 모두 갖춘 방법이 기존 최신 기술 수준의 접근법을 능가할 수 있는가?
• RQ5 MoCo나 Barlow Twins와 비교해 TiCo는 낮은 배치 크기 설정에서 어떻게 성능을 내는가?

주요 결과

• TiCo는 Places-205에서 54.0%의 top-1 정확도, VOC07에서 86.5%의 mAP, iNat18에서 45.1%의 정확도를 기록하여 최신 기술 수준의 방법과 동등하거나 이를 초월한다.
• COCO 객체 검출에서 TiCo는 VOC07+12에서 56.2%의 AP, COCO에서 83.1%의 AP50를 달성하여 핵심 지표에서 MoCo v2와 SwAV를 능가한다.
• 암묵적인 메모리 백업 메커니즘 덕분에, 작은 배치 크기에서도 경쟁적인 성능을 발휘한다.
• 이론적 분석 결과, TiCo는 메모리 비용 없이 무한히 큰 메모리 백업을 가진 MoCo와 동일한 것으로 밝혀졌으며, 이는 낮은 배치 조건에서의 강건성을 설명한다.
• TiCo는 임베딩의 그람 행렬과 공분산 행렬을 통해 대비 학습과 부족 감소 방법 간의 깊은 연결을 드러내며, 이 두 접근법이 상호 이중적임을 입증한다.
• 공분산 대비 손실을 통해 고유값 붕괴를 방지함으로써, 명시적 정규화 없이도 비정상적인 해를 피할 수 있다.