[論文レビュー] Multiview Self-Representation Learning across Heterogeneous Views

Jie Chen, Zhu Wang+2 more|arXiv (Cornell University)|Feb 4, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

要約: 本研究は、複数の事前学習モデルからの異種特徴を横断して不変表現を学習する、完全に教師なしの転移学習フレームワークMSRLを提案する。情報伝達型自己表現メカニズムと割り当て確率分布の整合性スキームを通じて学習する。

ABSTRACT

Features of the same sample generated by different pretrained models often exhibit inherently distinct feature distributions because of discrepancies in the model pretraining objectives or architectures. Learning invariant representations from large-scale unlabeled visual data with various pretrained models in a fully unsupervised transfer manner remains a significant challenge. In this paper, we propose a multiview self-representation learning (MSRL) method in which invariant representations are learned by exploiting the self-representation property of features across heterogeneous views. The features are derived from large-scale unlabeled visual data through transfer learning with various pretrained models and are referred to as heterogeneous multiview data. An individual linear model is stacked on top of its corresponding frozen pretrained backbone. We introduce an information-passing mechanism that relies on self-representation learning to support feature aggregation over the outputs of the linear model. Moreover, an assignment probability distribution consistency scheme is presented to guide multiview self-representation learning by exploiting complementary information across different views. Consequently, representation invariance across different linear models is enforced through this scheme. In addition, we provide a theoretical analysis of the information-passing mechanism, the assignment probability distribution consistency and the incremental views. Extensive experiments with multiple benchmark visual datasets demonstrate that the proposed MSRL method consistently outperforms several state-of-the-art approaches.

研究の動機と目的

• 大規模なラベルなし視覚データから inherently 異なる特徴分布を持つ複数の事前学習バックボーンを用いて不変表現を学習する動機付け。
• ビュー間で情報を統合する多視点自己表現学習フレームワークを提案。
• 割り当て確率分布の整合性機構を通じて跨ビュー表現の不変性を強制。
• 情報伝達メカニズムと多視点整合性に関する理論的洞察を提供。
• ベンチマークデータセットで最先端手法に対する経験的優越性を示す。

提案手法

• 凍結した各事前学習バックボーンの上に個別の線形モデルを積み重ねて異種の多視点特徴を取得。
• 注意機構ベースの演算子により隣接特徴を適応的に集約する情報伝達メカニズムを導入。
• 同じカテゴリ内の隣接特徴の線形結合として各特徴を表現し、低次元表現を形成。
• 集約特徴上のソフトマックスベースの分類器を用いて各ビューの割り当て確率分布を計算。
• 跨ビュー整合性を実現するため、ビュー間の割り当て分布を平均化し、意味的偽ラベル損失、クラスタ多様性損失、跨ビュー整合性損失を適用。
• 弱い近傍整列、界限付き多視点整合性、および漸増的ビュー解析を理論的に分析。

Figure 1 : Framework of the MSRL model with two pretrained models. The framework consists of three main modules: a transfer learning module, a feature self-representation learning (FSRL) module and an assignment probability distribution consistency (APDC) module.

実験結果

リサーチクエスチョン

• RQ1 不同種の事前学習モデルを横断するラベルなしデータから不変表現をいかに学習できるか？
• RQ2 情報伝達（自己表現）メカニズムは跨ビュー特徴を効果的に集約して堅牢で低次元の表現を生み出せるか？
• RQ3 割り当て確率分布の整合性スキームは複数の事前学習バックボーンを跨いだ跨ビュー整列とクラスタリング性能を向上させるか？
• RQ4 提案された情報伝達および多視点整合性メカニズムの理論的保証は何か？
• RQ5 MSRLはベンチマーク視覚データセット上で最先端の教師なし転移手法に対して経験的にどの程度優れているか？

主な発見

• MSRLは複数のベンチマーク視覚データセットにおいて複数の最先端手法を一貫して上回る。
• 情報伝達メカニズムは適応的な隣接特徴の集約を可能にし、低次元表現を生み出す。
• 割り当て確率分布の整合性はビュー間の相補情報を活用して跨ビューの不変性を強制する。
• 理論的結果は弱い近傍対齐と有界な多視点整合性を正当化し、漸増的ビュー解析を示す。
• フレームワークは凍結された事前学習バックボーンを用いた完全に教師なしの転移設定で動作する。
• 意味的偽ラベル損失、クラスタ多様性損失、跨ビュー整合性損失は統一された潜在分布へモデルを導く。

Figure 2 : Clustering accuracy comparison between MSRL and the zero-shot transfer learning-based methods.