[논문 리뷰] Self-Supervised Representation Learning With MUlti-Segmental Informational Coding (MUSIC)

Chuang Niu, Ge Wang|arXiv (Cornell University)|2022. 06. 13.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

MUSIC는 임베딩 특징을 여러 세그먼트로 나누어 정보 이론적 최적화를 통해 각 세그먼트가 서로 다른 의미적 속성(예: 질감, 형태)을 인코딩하도록 하는 자기지도 학습 표현 학습 방법을 제안한다. 대조 메모리 백업, 큰 배치 크기, 깊은 프로젝션 헤드를 필요로 하지 않으며, ImageNet에서 최신 기준 성능을 달성하고, Barlow Twins와 VICReg를 능가하면서도 계산 비용이 더 낮다.

ABSTRACT

Self-supervised representation learning maps high-dimensional data into a meaningful embedding space, where samples of similar semantic contents are close to each other. Most of the recent representation learning methods maximize cosine similarity or minimize the distance between the embedding features of different views from the same sample usually on the $l2$ normalized unit hypersphere. To prevent the trivial solutions that all samples have the same embedding feature, various techniques have been developed, such as contrastive learning, stop gradient, variance and covariance regularization, etc. In this study, we propose MUlti-Segmental Informational Coding (MUSIC) for self-supervised representation learning. MUSIC divides the embedding feature into multiple segments that discriminatively partition samples into different semantic clusters and different segments focus on different partition principles. Information theory measurements are directly used to optimize MUSIC and theoretically guarantee trivial solutions are avoided. MUSIC does not depend on commonly used techniques, such as memory bank or large batches, asymmetry networks, gradient stopping, momentum weight updating, etc, making the training framework flexible. Our experiments demonstrate that MUSIC achieves better results than most related Barlow Twins and VICReg methods on ImageNet classification with linear probing, and requires neither deep projectors nor large feature dimensions. Code will be made available.

연구 동기 및 목표

• 자기지도 표현 학습에서 모든 샘플이 동일한 임베딩으로 수렴하는 '비의미적 해법' 문제를 해결하기 위해.
• 메모리 백업, 모멘터리 네트워크, 기울기 정지와 같은 복잡한 구성 요소에 의존하지 않는 방법을 개발하기 위해.
• 정보 이론 기반 세그먼트별 속성 인코딩을 통해 구분 가능하고 다양한, 비의미적인 표현을 가능하게 하기 위해.
• 고차원 특징 또는 깊은 프로젝션 헤드가 필요 없도록 하여 계산 비용을 줄이기 위해.

제안 방법

• MUSIC는 임베딩 벡터를 S개의 세그먼트로 분할하며, 각 세그먼트는 서로 다른 의미적 속성(예: 질감, 형태, 객체 부분)을 나타낸다.
• 각 세그먼트는 특징 공간을 D_S개의 이산 단위로 나누며, 각 단위는 해당 속성의 특정 인스턴스를 나타낸다(예: 점 무늬 질감, 줄무늬 질감).
• 이 방법은 이미지가 세그먼트 s의 d번째 단위에 속할 확률 분포 p(s,d)를 최적화하기 위해 엔트로피 기반 손실 함수를 사용한다.
• 이론적 분석을 통해 최적의 해법이 각 샘플에 대해 일항 활성화를 강제하고 서로 다른 세그먼트 간 공분산을 0으로 설정함으로써 비의미적 해법을 피함을 증명한다.
• 공동 엔트로피 최대화를 통해 서로 다른 세그먼트의 특징는 상관관계가 없도록 하고, 세그먼트 내 단위는 부정적으로 상관관계를 가지게 하여 다양성과 구분 가능성 증가를 유도한다.
• 이 프레임워크는 데이터 증강에 대해 불변이며, 비대칭성, 기울기 정지, 모멘터리 업데이트가 필요하지 않다.

실험 결과

연구 질문

• RQ1 대조 메모리, 큰 배치 크기, 기울기 정지를 사용하지 않고도 자기지도 표현 학습 방법이 비의미적 해법을 피할 수 있는가?
• RQ2 정보 이론적 최적화를 통한 세그먼트별 속성 인코딩이 기존의 대조 또는 상관 기반 방법보다 더 구분 가능하고 다양한 특징을 생성할 수 있는가?
• RQ3 MUSIC는 모델 복잡도를 줄임으로써 Barlow Twins와 VICReg와 같은 최신 기준 방법보다 더 뛰어난 최종 성능을 달성할 수 있는가?
• RQ4 깊은 프로젝션 헤드 또는 고차원 임베딩이 없이도 MUSIC은 높은 성능을 유지할 수 있는가?

주요 결과

• MUSIC는 ResNet-50 백본을 사용하여 ImageNet-1K에서 80.3%의 최신 기준 선형 프로브 정확도를 달성하며, Barlow Twins와 VICReg를 능가한다.
• 이 성능는 메모리 백업, 큰 배치 크기, 깊은 프로젝션 헤드를 사용하지 않아도 달성되며, 메모리 및 계산 비용을 크게 절감한다.
• 이론적 분석을 통해 MUSIC이 각 샘플에 대해 일항 활성화를 강제하고 서로 다른 세그먼트 간 공분산을 0으로 설정함으로써 비의미적 해법을 피하는 것으로 확인되었다.
• 실험 결과로 서로 다른 세그먼트의 특징는 상관관계가 없고, 동일 세그먼트 내 단위는 부정적으로 상관관계를 가지며, 다양성과 구분 가능성을 보장한다.
• MUSIC는 네트워크 아키텍처의 비대칭성이나 기울기 정지를 필요로 하지 않아 학습을 단순화하고 학습 안정성을 향상시킨다.