[논문 리뷰] Self-Supervised Learning with an Information Maximization Criterion

Serdar Ozsoy, Shadi Hamdan외 3명|arXiv (Cornell University)|2022. 09. 16.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 두 번째 순서 통계 기반의 상관 정보 측정법에 기반한 로그 행렬식 상호정보량을 사용하여 상관 정보를 최대화하는 자기지도 학습 방법인 CorInfoMax을 제안한다. 특성 공분산의 로그 행렬식으로 정규화된 대비 손실을 통해 총 붕괴와 차원 붕괴를 방지하며, CIFAR-100 분류와 같은 하류 작업에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

Self-supervised learning allows AI systems to learn effective representations from large amounts of data using tasks that do not require costly labeling. Mode collapse, i.e., the model producing identical representations for all inputs, is a central problem to many self-supervised learning approaches, making self-supervised tasks, such as matching distorted variants of the inputs, ineffective. In this article, we argue that a straightforward application of information maximization among alternative latent representations of the same input naturally solves the collapse problem and achieves competitive empirical results. We propose a self-supervised learning method, CorInfoMax, that uses a second-order statistics-based mutual information measure that reflects the level of correlation among its arguments. Maximizing this correlative information measure between alternative representations of the same input serves two purposes: (1) it avoids the collapse problem by generating feature vectors with non-degenerate covariances; (2) it establishes relevance among alternative representations by increasing the linear dependence among them. An approximation of the proposed information maximization objective simplifies to a Euclidean distance-based objective function regularized by the log-determinant of the feature covariance matrix. The regularization term acts as a natural barrier against feature space degeneracy. Consequently, beyond avoiding complete output collapse to a single point, the proposed approach also prevents dimensional collapse by encouraging the spread of information across the whole feature space. Numerical experiments demonstrate that CorInfoMax achieves better or competitive performance results relative to the state-of-the-art SSL approaches.

연구 동기 및 목표

• 자기지도 학습에서 모델이 동일하거나 열악한 표현을 생성하는 특성 공간 붕괴 문제를 해결하기 위해.
• 복잡한 밀도 추정이 필요 없는 선형 의존성을 캡처할 수 있는 샤논 상호정보량의 계산 효율성이 뛰어난 대체 방법을 개발하기 위해.
• 자연스러운 정규화 항을 통해 특성 공분산의 전체 질서를 유지함으로써 표현이 다양하고 정보가 풍부해지도록 보장하기 위해.
• 대규모 배치 학습이나 복잡한 신경망 아키텍처가 필요 없이도 하류 작업에서 경쟁 가능한 성능을 달성하기 위해.

제안 방법

• 이 방법은 두 번째 순서 통계 기반의 상호정보 측정법인 로그 행렬식 상호정보량(LDMI)을 사용하며, 이는 표현 간의 선형 의존성을 반영한다.
• LDMI 목표를 일차 근사화함으로써, 특성 공분산 행렬의 로그 행렬식으로 정규화된 대비 손실을 도출한다.
• 정규화 항은 총 붕괴(모든 특성이 한 점으로 수렴)와 차원 붕괴(특성이 부분공간에 갇힘)를 방지하는 자연스러운 장벽으로 작용한다.
• 손실 함수는 유사도 기반 대비 목표로, 증강된 뷰 간의 차이를 벌리며, 특성 다양성을 촉진하는 추가 페널티를 포함한다.
• 역전파를 통해 엔드 투 엔드로 학습되며, 역공분산 행렬과 중심이 이동한 특성에 대한 닫힌 형식의 표현식을 통해 기울기가 계산된다.
• 이 방법은 표준 신경망 아키텍처와 호환되며, 추가적인 대비 메모리 백업이나 복잡한 음성 샘플링 전략이 필요하지 않다.

실험 결과

연구 질문

• RQ1 두 번째 순서 통계 기반 상호정보 측정법이 자기지도 학습에서 표현 붕괴를 효과적으로 방지할 수 있는가?
• RQ2 로그 행렬식 정규화를 통한 상관 정보 최대화가 하류 전이 학습 성능을 향상시키는가?
• RQ3 대규모 배치 학습이 필요 없이도 샤논 상호정보량의 더 단순하고 효율적인 대체 방법을 사용해 경쟁 가능한 SSL 성능을 달성할 수 있는가?
• RQ4 제안된 정규화 항이 특성 공간 분포와 일반화 능력에 어떤 영향을 미치는가?
• RQ5 이 방법이 표준 벤치마크에서 최신 기술 수준의 자기지도 학습 기반 모델을 얼마나 뛰어나게 성능을 내는가?

주요 결과

• CorInfoMax는 CIFAR-100 분류에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하며, 테스트 정확도가 기존 방법과 유사하거나 향상되었다.
• 학습 중 LDMI 측정치와 테스트 정확도가 에포크가 진행되면서 거의 단조롭게 증가하여 안정적이고 일관된 최적화가 이루어지고 있음을 보여준다.
• 로그 행렬식 정규화 항이 총 붕괴와 차원 붕괴를 효과적으로 방지함을 입증하며, 특성 벡터가 전체 잠재 공간에 걸쳐 퍼져 있음을 확인할 수 있다.
• 기울기 역동성 분석 결과, 정규화 항이 특성 중심에서 멀어지게 유도하는 반면, 대비 항은 양의 쌍을 함께 끌어당긴다.
• 대규모 배치가 필요 없이도 강력한 성능을 달성하여 메모리 사용과 일반화 간의 상충 관계를 줄였다.
• 이 방법은 다양한 하류 작업과 데이터셋에서 일관된 성능을 보이며, 강건하고 일반화 능력이 뛰어나다.