[논문 리뷰] Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction

Yaodong Yu, Kwan Ho Ryan Chan외 3명|arXiv (Cornell University)|2020. 06. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 58

한 줄 요약

논문은 Maximal Coding Rate Reduction (MCR2)을 소개합니다. 이는 전체 데이터와 클래스별 하위집합 간의 코딩 속도 차이를 최대화하는 정보 이론적 목적이며, 감독, 자체지도 학습, 비지도 학습 설정 전반에서 다양하고 판별 가능한 표현을 학습하고, 라벨 노이즈에 강건하며 강한 클러스터링 성능을 보입니다.

ABSTRACT

To learn intrinsic low-dimensional structures from high-dimensional data that most discriminate between classes, we propose the principle of Maximal Coding Rate Reduction ($ ext{MCR}^2$), an information-theoretic measure that maximizes the coding rate difference between the whole dataset and the sum of each individual class. We clarify its relationships with most existing frameworks such as cross-entropy, information bottleneck, information gain, contractive and contrastive learning, and provide theoretical guarantees for learning diverse and discriminative features. The coding rate can be accurately computed from finite samples of degenerate subspace-like distributions and can learn intrinsic representations in supervised, self-supervised, and unsupervised settings in a unified manner. Empirically, the representations learned using this principle alone are significantly more robust to label corruptions in classification than those using cross-entropy, and can lead to state-of-the-art results in clustering mixed data from self-learned invariant features.

연구 동기 및 목표

• 고차원 데이터에서 클래스 간 구분을 가능하게 하는 고유의 저차원 구조를 학습하도록 동기를 부여합니다.
• 체계적인 척도(MCR2)를 정의하고 최적화하여 클래스 간 다양성과 클래스 내 응집을 촉진합니다.
• 다양하고 구별 가능한 특징 학습에 대한 이론적 보장을 제공합니다.
• 통합된 프레임워크 내에서 MCR2가 감독, 자체지도 학습, 비지도 설정 전반에서 작동함을 보여줍니다.
• 실제 데이터에서 라벨 손상에 대한 강건성과 경쟁력 있는 클러스터링 성능을 시연합니다.

제안 방법

• 샘플의 분할 Π에 대해 coding rate R(Z, ε)와 class-wise coding rate R^c(Z, ε|Π)을 정의합니다.
• ΔR(Z, Π, ε) = R(Z, ε) – R^c(Z, ε|Π)를 형식화하고 Z_j(Σ)에 대한 정규화 제약 조건으로 ΔR을 최대화하여 비슷한 스케일을 보장합니다.
• 적절한 조건하에서 최적의 MCR2 표현이 클래스 간 직교성 및 클래스 내 서브스페이스 차원의 최대치를 생성한다고 이론화합니다.
• MCR2를 정보 이득과 대조 학습과 연관시키고 핵-노름 기반 손실(OLE)과 대조합니다.
• 미니배치에서의 확률적 경사하강법으로 손실을 최적화하되, 감독(레이블에서 고정된 Π)과 자체지도 학습(샘플별로 라벨링된 증강)을 사용합니다.
• 감독 학습에서 가장 가까운 서브스페이스 분류기(nearest subspace classifier)로 표현을 평가하고, 자체지도/비지도 설정에서는 클러스터링 지표로 평가합니다.

실험 결과

연구 질문

• RQ1 레이블에 의존하지 않는 속도 기반 척도가 감독, 자체지도 학습 및 비지도 학습에 적합한 표현의 응집성을 정량화할 수 있나요?
• RQ2 코딩 속도 감소를 최대화하면 서로 다른 학습 패러다임에서 구별 가능하고 다양하며 강건한 표현이 얻어지나요?
• RQ3 레이블 노이즈에 대한 강건성과 클러스터링 성능 측면에서 MCR2가 교차 엔트로피, 정보 병목, 대조 학습과 어떻게 비교되나요?
• RQ4 특히 서브스페이스(저차원) 시계에서 MCR2 표현의 이론적 특성은 무엇인가요?
• RQ5 적절한 조건에서 MCR2가 다중 클래스 서브스페이스 구조를 자동으로 직교하고 최대 차원으로 촉진할 수 있나요?

주요 결과

• MCR2로 학습된 표현은 감독 학습 중 전체 데이터의 coding rate R이 증가하고 클래스별 속도 R^c는 감소하는 것을 보여주어 전역 구조의 확장과 클래스별 구조의 수축을 시사합니다.
• MCR2로 학습된 표현은 교차 엔트로피에 비해 각 클래스 내 더 큰 서브스페이스 차원으로 더 높은 다양성을 보이며 더 강건하고 다면적인 특징을 시사합니다.
• MCR2 학습은 손상된 라벨에 대한 강건성을 보이며 라벨 손상 증가에도 교차 엔트로피에 비해 더 높은 정확도를 유지합니다.
• 자체지도/증강 기반 설정에서 제어된 다이내믹스를 갖는 MCR2는 CIFAR10에서 불변 특징을 가진 강력한 결과를 포함해 경쟁력 있는 클러스터링 성능을 달성합니다.
• 이론적 분석은 적절한 조건하에서 최적의 Z*가 직교한 클래스 서브스페이스와 최대 차원을 갖는다고 시사하며, 다양하고 구별 가능한 표현을 촉진합니다.