[논문 리뷰] An Investigation into Whitening Loss for Self-supervised Learning

Xi Weng, Lei Huang외 4명|arXiv (Cornell University)|2022. 10. 07.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 채널별 백색화와 무작위 그룹 분할을 결합한 새로운 자기지도 학습 방법인 CW-RGP(CW-RGP)를 제안한다. 이 방법은 전체 랭크 임bedding를 강제로 유지함으로써 표현 붕괴를 방지한다. 배치 백색화 방법과 달리, 큰 배치 크기가 필요로 하지 않으면서도 뛰어난 성능을 유지하여 ImageNet 분류와 COCO 객체 검출에서 최신 기준(SOTA) 성능을 달성한다. COCO 검출에서는 60.5 AP, 인스턴스 세그멘테이션에서는 57.3 AP를 기록한다.

ABSTRACT

A desirable objective in self-supervised learning (SSL) is to avoid feature collapse. Whitening loss guarantees collapse avoidance by minimizing the distance between embeddings of positive pairs under the conditioning that the embeddings from different views are whitened. In this paper, we propose a framework with an informative indicator to analyze whitening loss, which provides a clue to demystify several interesting phenomena as well as a pivoting point connecting to other SSL methods. We reveal that batch whitening (BW) based methods do not impose whitening constraints on the embedding, but they only require the embedding to be full-rank. This full-rank constraint is also sufficient to avoid dimensional collapse. Based on our analysis, we propose channel whitening with random group partition (CW-RGP), which exploits the advantages of BW-based methods in preventing collapse and avoids their disadvantages requiring large batch size. Experimental results on ImageNet classification and COCO object detection reveal that the proposed CW-RGP possesses a promising potential for learning good representations. The code is available at https://github.com/winci-ai/CW-RGP.

연구 동기 및 목표

• 백색화 손실의 이론적 및 실용적 행동을 조사하고, 표현 붕괴를 방지하는 데서 그 역할을 밝혀내는 것.
• 이론적으로 보장되기는 하지만 일부 백색화 변환은 차원 붕괴를 방지하지 못하는 이유를 분석하는 것.
• 배치 백색화의 붕괴 방지 효과를 유지하면서도 큰 배치 크기에 의존하지 않는 방법을 개발하는 것.
• 배치 백색화의 이론적 근거와 경험적 효과가 뛰어난 대안을 제안하는 것.

제안 방법

• 대칭적 백색화 손실을 두 개의 비대칭 손실로 분해하여, 각각 온라인 네트워크가 백색화된 타겟을 일치시도록 하여 다른 SSL 방법과의 연결 고리를 형성한다.
• 무작위 그룹 분할을 통한 채널 백색화(CW-RGP)를 제안하며, 전체 배치가 아닌 무작위로 분할된 채널 그룹 내에서 임베딩을 백색화한다.
• 임베딩에 대해 전순위 제약 조건을 도입함으로써 붕괴 방지가 충분히 보장됨을 보여주며, 백색화가 반드시 필요하지 않음을 시사한다.
• SimSiam와 유사한 정합성 있는 학습 프레임워크를 사용하여 정지 기울기 및 예측자 유사 구성 요소를 도입함으로써 학습 안정성을 확보한다.
• 계산 비용을 줄이고, 특히 작은 배치 설정에서 일반화 성능을 향상시키기 위해 무작위 그룹 분할을 적용한다.
• ImageNet과 COCO에서 평가하기 위해 표준 데이터 증강 기법과 ResNet 백본을 사용한다.

실험 결과

연구 질문

• RQ1 이론적으로 보장되기는 하지만 일부 백색화 변환은 왜 여전히 차원 붕괴를 방지하지 못하는가?
• RQ2 자기지도 학습에서 배치 백색화가 진정으로 도입하는 인덕티브 편향은 무엇인가?
• RQ3 배치 백색화의 큰 배치 크기 요구 조건을 제거하면서도 붕괴 방지를 유지할 수 있는 백색화 기반 방법은 존재하는가?
• RQ4 채널 백색화에서 무작위 그룹 분할은 전체 배치 백색화에 비해 표현 학습을 어떻게 향상시키는가?
• RQ5 자기지도 학습에서 전순위 임베딩과 붕괴 방지 간의 관계는 무엇인가?

주요 결과

• CW-RGP는 COCO 객체 검출에서 60.5 AP, 인스턴스 세그멘테이션에서는 57.3 AP를 기록하여 SimSiam 및 MoCo v2와 같은 최신 기준(SOTA) 방법을 초월하거나 동등하게 성능을 내는 데 성공했다.
• 표준 채널 백색화 대비 CIFAR-100에서 선형 및 5-NN 정확도가 각각 1.25%, 1.29% 향상되었다.
• 배치 크기가 32와 64일 때 배치 백색화보다 CW-RGP가 더 작은 정확도 하락을 보이며 더 뛰어난 안정성을 확보했다.
• 절단 분석 결과, 고정 그룹 분할 및 표준 채널 백색화에 비해 무작위 그룹 분할이 성능 향상에 기여함을 확인했다.
• 배치 백색화 방법은 진정으로 백색화 제약 조건을 부과하지 않으며, 오히려 임베딩이 전순위여야 한다는 조건만 요구한다. 이는 붕괴 방지를 위한 충분한 조건임을 시사한다.
• 이론적 분석을 통해 배치 백색화의 핵심 메커니즘은 백색화 자체가 아니라 전순위성임을 규명하였으며, 이는 이러한 방법의 경험적 성공을 설명한다.