[논문 리뷰] Understanding Latent Correlation-Based Multiview Learning and Self-Supervision: An Identifiability Perspective

Qi Lyu, Xiao Fu외 2명|arXiv (Cornell University)|2021. 06. 14.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 공유 및 비공유 성분의 비선형 혼합으로서 시각을 모델링함으로써 다시보기 표현 학습에서 잠재 상관계수 최대화의 이론적 기반을 제공한다. 상관계수 최대화가 공유 성분을 역행 가능 변환까지 식별할 수 있음을 증명하였으며, 적절한 정규화를 통해 비공유 성분 또한 분리 가능하다—유한 표본 분석을 통한 자기지도 및 다시보기 학습을 위한 원리적인 접근이다.

ABSTRACT

Multiple views of data, both naturally acquired (e.g., image and audio) and artificially produced (e.g., via adding different noise to data samples), have proven useful in enhancing representation learning. Natural views are often handled by multiview analysis tools, e.g., (deep) canonical correlation analysis [(D)CCA], while the artificial ones are frequently used in self-supervised learning (SSL) paradigms, e.g., BYOL and Barlow Twins. Both types of approaches often involve learning neural feature extractors such that the embeddings of data exhibit high cross-view correlations. Although intuitive, the effectiveness of correlation-based neural embedding is mostly empirically validated. This work aims to understand latent correlation maximization-based deep multiview learning from a latent component identification viewpoint. An intuitive generative model of multiview data is adopted, where the views are different nonlinear mixtures of shared and private components. Since the shared components are view/distortion-invariant, representing the data using such components is believed to reveal the identity of the samples effectively and robustly. Under this model, latent correlation maximization is shown to guarantee the extraction of the shared components across views (up to certain ambiguities). In addition, it is further shown that the private information in each view can be provably disentangled from the shared using proper regularization design. A finite sample analysis, which has been rare in nonlinear mixture identifiability study, is also presented. The theoretical results and newly designed regularization are tested on a series of tasks.

연구 동기 및 목표

• 다시보기 학습에서 잠재 상관계수 최대화가 시각 불변, 신원을 드러내는 표현을 효과적으로 포착하는 이유를 이해하기 위해.
• 비선형 생성 모델 하에서 상관계수 최대화를 통해 공유 성분이 역행 가능 변환까지 정확히 식별될 수 있음을 공식적으로 확립하기 위해.
• 적절한 정규화를 사용해 상관계수 기반 학습에서 비공유 성분을 공유 성분으로부터 증명 가능하게 분리할 수 있는지 보여주기 위해.
• 기존 비지도 학습 이론에서의 빈도가 없는 비선형 혼합 식별 가능성에 대한 유한 표본 분석을 제공하기 위해.
• 제안된 프레임워크를 대비 자기지도 학습과 연결하고, 슬랙 변수 정규화를 통해 실용적인 구현을 가능하게 하기 위해.

제안 방법

• 공유 및 비공유 잠재 성분의 비선형 혼합으로서 시각을 모델링하는 생성 모델을 제안하며, 이는 역행 가능 혼합과 성분 간 독립성을 포함한다.
• 공유 성분을 역행 가능 변환까지 식별하기 위해 잠재 상관계수 최대화(공유 표현 매칭을 통한)를 사용한다.
• 공유 표현의 고엔트로피를 강제하는 슬랙 변수 기반 정규화 체계를 도입하여 비공유 성분의 분리 가능성을 보장한다.
• 기존 ICA 연구에서의 무한 표본 가정을 초월해 현실적인 데이터 제약 조건 하에서도 식별 가능성을 확립하기 위해 유한 표본 분석을 활용한다.
• 다른 생성 함수를 가진 다수의 시각에 대해 적용 가능한 InfoNCE 스타일의 대비 손실과 공유 임베딩, 슬랙 변수에 대한 엔트로피 정규화를 사용해 목적함수를 재구성한다.
• 이론적 통찰을 바탕으로 DCCA, AM-SSL 및 대비 학습을 동일한 식별 가능성 관점에서 연결하는 통합 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 비선형 생성 모델 하에서 다재다비 학습의 잠재 상관계수 최대화가 공유 성분, 시각 불변 성분을 증명 가능하게 식별할 수 있는가?
• RQ2 상관계수 기반 학습에서 정규화를 사용해 비공유 성분을 공유 성분으로부터 분리할 수 있는 조건은 무엇인가?
• RQ3 비선형 다재다비 표현 학습에서 특히 대비 및 자기지도 학습 설정에서, 유한 표본 식별 가능성을 어떻게 확립할 수 있는가?
• RQ4 상관계수 최대화와 대비 자기지도 학습 간의 관계는 무엇이며, 서로 다른 데이터 생성 과정을 가진 다수의 시각에 대해 이를 어떻게 수학적으로 형식화할 수 있는가?
• RQ5 이론적 프레임워크는 슬랙 변수와 엔트로피 정규화를 사용해 실용적으로 구현 가능하며, 학습 안정성 향상과 분리 가능성 향상에 기여하는가?

주요 결과

• 제안된 생성 모델 하에서 역행 가능 혼합과 성분 간 독립성을 가정할 경우, 잠재 상관계수 최대화가 공유 성분을 역행 가능 변환까지 정확히 식별함을 보였다.
• 적절한 정규화를 통해 각 시각의 비공유 성분이 공유 표현으로부터 증명 가능하게 분리 가능함을 확인하였으며, 이는 교차 시각 생성 등의 작업에 기여한다.
• 유한 표본 분석을 통해 현실적인 데이터 제약 조건 하에서도 식별 가능성이 유지됨을 입증하였으며, 이는 이전 비선형 ICA 이론의 핵심적 한계를 해결한다.
• 슬랙 변수를 사용한 InfoNCE 기반 목적함수를 통해 대비 자기지도 학습과의 연결을 확립하였으며, 서로 다른 생성 함수를 가진 다수의 시각에 적용 가능하다.
• 실증적 검증을 통해 제안된 정규화가 클러스터링, 교차 시각 번역 및 생성 작업에서 분리 가능성과 성능 향상에 기여함을 확인하였다.
• 이론적 분석을 통해 공유 표현의 엔트로피를 최대화하면 비현실적인 해를 방지하고 공유 성분의 비퇴화된 식별 가능성을 보장함을 보였다.