[논문 리뷰] HOME: High-Order Mixed-Moment-based Embedding for Representation Learning

Chuang Niu, Ge Wang|arXiv (Cornell University)|2022. 07. 15.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 고차 혼합모멘트 기반 임bedding(HOME, High-Order Mixed-Moment-based Embedding)를 제안하며, 이는 이차 상관관계를 넘어서 특성 변수 간의 부재를 줄이기 위해 고차 혼합모멘트—특히 삼차 혼합모멘트—를 최소화하는 새로운 자기지도 학습 표현 학습 프레임워크이다. 다변량 상호정보량 최소화를 통해 혼합모멘트의 분해를 강제함으로써 HOME은 CIFAR-10에서 Barlow Twins보다 선형 평가 정확도가 4.1% 향상되어 최신 기술 수준의 성능을 달성하였으며, 비대칭 아키텍처나 메모리 백업을 사용하지 않는다.

ABSTRACT

Minimum redundancy among different elements of an embedding in a latent space is a fundamental requirement or major preference in representation learning to capture intrinsic informational structures. Current self-supervised learning methods minimize a pair-wise covariance matrix to reduce the feature redundancy and produce promising results. However, such representation features of multiple variables may contain the redundancy among more than two feature variables that cannot be minimized via the pairwise regularization. Here we propose the High-Order Mixed-Moment-based Embedding (HOME) strategy to reduce the redundancy between any sets of feature variables, which is to our best knowledge the first attempt to utilize high-order statistics/information in this context. Multivariate mutual information is minimum if and only if multiple variables are mutually independent, which suggests the necessary conditions of factorized mixed moments among multiple variables. Based on these statistical and information theoretic principles, our general HOME framework is presented for self-supervised representation learning. Our initial experiments show that a simple version in the form of a three-order HOME scheme already significantly outperforms the current two-order baseline method (i.e., Barlow Twins) in terms of the linear evaluation on representation features.

연구 동기 및 목표

• 기존 자기지도 학습 방법이 공분산 정규화를 통해 오직 이차 상관관계만을 최소화하는 데에 한계가 있음을 해결하기 위해.
• 특성 변수 간의 고차 통계적 의존성은 표현 품질 향상에 기여할 수 있는지 탐색하기 위해.
• 고차 통계를 이용해 모든 특성 변수 조합에 대해 최소 부재를 강제하는 원칙적인 일반 목적의 프레임워크를 개발하기 위해.
• 특히 삼차 혼합모멘트를 포함한 고차 혼합모멘트가 체계적인 아키텍처 제약 없이 표현 학습을 크게 향상시킬 수 있는지 입증하기 위해.
• 딥러닝에서 확장 가능한 고차 모멘트 기반 자기지도 학습을 위한 향후 연구의 기반을 마련하기 위해.

제안 방법

• HOME 프레임워크는 동일한 입력의 증강된 시각에서 특성을 추출하기 위해 인코더와 프로젝터를 갖춘 단일 브랜치 신경망을 사용한다.
• 다중 특성 변수 간 혼합모멘트의 분해를 강제하기 위해 고차 혼합모멘트 손실을 도입하며, 이는 다변량 상호정보량이 최소가 되는 경우에만 변수들이 상호 독립이 되는 통계 원리를 활용한다.
• 데이터의 변환된 시각 간의 교차 및 자기 혼합모멘트 텐서를 사용하여 삼차 혼합모멘트 제약을 수식화한다.
• 세 가지 변형을 탐색: HOME-T3-O2-Cross(세 시각 간의 교차 혼합모멘트), HOME-T2-O3-Cross(두 시각 간의 교차 혼합모멘트), HOME-T2-O3-Self(한 시각 내의 자기 혼합모멘트), 이 중 후자가 더 낮은 계산 비용으로 동일한 성능을 보였다.
• 손실 함수는 코스인 학습률 스케줄을 사용한 SGD를 통해 엔드 투 엔드로 최적화되며, 표현 품질 평가에는 선형 프로빙이 사용된다.
• 프레임워크는 비대칭 네트워크, 모멘텀 업데이트, 메모리 백업을 필요로 하지 않으며, 고차 모멘트 정규화에만 의존한다.

실험 결과

연구 질문

• RQ1 이차 상관관계를 넘어서는 고차 혼합모멘트가 자기지도 표현 학습을 향상시킬 수 있는가?
• RQ2 삼차 혼합모멘트의 분해가 이차 공분산 최소화보다 더 나은 표현을 얻는 데에 충분한가?
• RQ3 고차 통계를 통해 상호 독립성을 강제하면 더 컴act하고 정보가 풍부한 특성 표현이 도출되는가?
• RQ4 고차 모멘트 제약 조건이 적용된 대칭적이고 단일 브랜치 아키텍처가 아키텍처나 학습 기법 없이 기존 최신 기술 수준의 방법을 초월할 수 있는가?
• RQ5 실제로 고차 모멘트를 사용하는 것이 가능할까? 그리고 성능 대비 계산 비용의 최적 균형을 이루는 것은 교차 방식인지 자기 방식인가?

주요 결과

• 삼차 HOME 프레임워크는 선형 프로빙 평가에서 CIFAR-10에서 바닥면의 두 번째 기준인 Barlow Twins보다 Top-1 정확도가 4.1% 높게 기록하였다.
• HOME-T2-O3-Self-One은 무작위로 선택된 하나의 변환에만 삼차 혼합모멘트 제약 조건을 적용했지만, 더 복잡한 변형들과 비교해 성능이 유사하여 계산 효율성이 높으면서도 성능 손실이 없음을 시사한다.
• HOME-T2-O3-Cross 변형은 Top-1 정확도 91.2%와 Top-5 정확도 99.7%를 기록하여 MoCo, SimCLR, BYOL, DINO를 포함한 모든 기준 모델을 뛰어넘었다.
• 비대칭 네트워크 설계, 모멘텀 업데이트, 메모리 백업, 정지 기울기 등을 사용하지 않아도 CIFAR-10에서 최신 기술 수준의 성능을 달성하였다.
• 다변량 상호정보량을 고차 모멘트 분해를 통해 최소화함으로써 더 잘 분리되고 정보가 풍부한 표현이 도출된다는 이론적 주장이 결과적으로 검증되었다.
• 고차 통계가 자기지도 학습에서 효과적으로 활용될 수 있음을 입증하였으며, 향후 연구를 위한 새로운 방향을 열었다.