[논문 리뷰] Multiview Self-Representation Learning across Heterogeneous Views

Jie Chen, Zhu Wang외 2명|arXiv (Cornell University)|2026. 02. 04.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

본 논문은 MSRL을 도입하며, 다수의 사전 학습 모델로부터 이질적인 특징에서 불변 표현을 학습하는 완전한 비지도 전이 학습 프레임워크로, 정보 전달 기반의 자기 표현 메커니즘과 할당 확률 분포 일관성 체계를 통해 구현된다.

ABSTRACT

Features of the same sample generated by different pretrained models often exhibit inherently distinct feature distributions because of discrepancies in the model pretraining objectives or architectures. Learning invariant representations from large-scale unlabeled visual data with various pretrained models in a fully unsupervised transfer manner remains a significant challenge. In this paper, we propose a multiview self-representation learning (MSRL) method in which invariant representations are learned by exploiting the self-representation property of features across heterogeneous views. The features are derived from large-scale unlabeled visual data through transfer learning with various pretrained models and are referred to as heterogeneous multiview data. An individual linear model is stacked on top of its corresponding frozen pretrained backbone. We introduce an information-passing mechanism that relies on self-representation learning to support feature aggregation over the outputs of the linear model. Moreover, an assignment probability distribution consistency scheme is presented to guide multiview self-representation learning by exploiting complementary information across different views. Consequently, representation invariance across different linear models is enforced through this scheme. In addition, we provide a theoretical analysis of the information-passing mechanism, the assignment probability distribution consistency and the incremental views. Extensive experiments with multiple benchmark visual datasets demonstrate that the proposed MSRL method consistently outperforms several state-of-the-art approaches.

연구 동기 및 목표

• 대규모 라벨이 없는 시각 데이터에서 inherently 다른 특징 분포를 가진 여러 사전 학습 백본을 사용하여 불변 표현을 학습하려는 동기를 부여한다.
• 뷰 간 정보를 집계하는 다중 뷰 자기 표현 학습 프레임워크를 제안한다.
• 할당 확률 분포 일관성 메커니즘을 통해 뷰 간 표현 불변성을 강제한다.
• 정보 전달 메커니즘과 다중 뷰 일관성에 대한 이론적 통찰을 제공한다.
• 벤치마크 데이터셋에서 최첨단 방법에 대한 실험적 우수성을 입증한다.

제안 방법

• 각 프리冻结된 사전 학습 백본 위에 개별 선형 모델을 적층하여 이질적 다중 뷰 특징을 얻는다.
• 주변 특징을 주의 기반 연산자를 통해 적응적으로 집계하는 정보 전달 메커니즘을 도입한다.
• 동일 카테고리 내의 이웃 특징의 선형 결합으로 각 특징을 표현하여 저차원 표현을 형성한다.
• 집계된 특징에 대한 소프트맥스 기반 분류기를 사용하여 각 뷰에 대한 할당 확률 분포를 계산한다.
• 뷰 간의 할당 분포를 평균화하고 시맨틱 의사레이블 손실, 클러스터 다양성 손실, 뷰 간 일관성 손실을 적용하여 크로스-뷰 일관성을 강제한다.
• 약한 이웃 정렬, 경계가 있는 다중 뷰 일관성, 증가하는 뷰 분석에 대한 이론적 분석을 제공한다.

Figure 1 : Framework of the MSRL model with two pretrained models. The framework consists of three main modules: a transfer learning module, a feature self-representation learning (FSRL) module and an assignment probability distribution consistency (APDC) module.

실험 결과

연구 질문

• RQ1 이질적인 사전 학습 모델 간 라벨링되지 않은 데이터로부터 불변 표현을 어떻게 학습할 수 있는가?
• RQ2 정보 전달(자기 표현) 메커니즘이 뷰 간 특성을 효과적으로 집계해 강건하고 저차원적인 표현을 생성할 수 있는가?
• RQ3 할당 확률 분포 일관성 스킴이 다중 프리트레이닝 백본에서 뷰 간 정렬 및 클러스터링 성능을 향상시키는가?
• RQ4 제안된 정보 전달 및 다중 뷰 일관성 메커니즘에 대한 이론적 보장은 무엇인가?
• RQ5 MSRL은 벤치마크 시각 데이터셋에서 최첨단 비지도 전이 방법들과 실험적으로 어떻게 비교되는가?

주요 결과

• MSRL은 여러 벤치마크 시각 데이터셋에서 여러 최첨단 방법들을 지속적으로 능가한다.
• 정보 전달 메커니즘은 이웃 기반의 적응적 특징 집계를 가능하게 하여 저차원 표현을 생성한다.
• 할당 확률 분포 일관성은 뷰 간 보완 정보를 활용해 크로스-뷰 불변성을 강화한다.
• 약한 이웃 정렬 및 경계가 있는 다중 뷰 일관성에 대한 이론적 결과를 제시하며, 증가하는 뷰 분석을 보여준다.
• 프레임워크는 프리 트레이닝 백본을 고정한 완전한 비지도 전이 설정에서 작동한다.
• 시맨틱 의사레이블 손실, 클러스터 다양성 손실, 크로스-뷰 일관성 손실이 모델을 단일 잠재 분포로 유도하도록 함께 작용한다.

Figure 2 : Clustering accuracy comparison between MSRL and the zero-shot transfer learning-based methods.