[論文レビュー] HOME: High-Order Mixed-Moment-based Embedding for Representation Learning

Chuang Niu, Ge Wang|arXiv (Cornell University)|Jul 15, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

この論文は、特徴変数間の冗長性を2次元相関を超えて低減するために、高次混合モーメント（特に3次混合モーメント）を最小化する、新しい自己教師あり表現学習フレームワークであるHOME（High-Order Mixed-Moment-based Embedding）を提案する。多変量相互情報量の最小化により混合モーメントの因数分解を強制することで、CIFAR-10においてBarlow Twinsより4.1%高い線形評価精度を達成し、非対称アーキテクチャやメモリバンクを用いない状態で最先端の性能を示した。

ABSTRACT

Minimum redundancy among different elements of an embedding in a latent space is a fundamental requirement or major preference in representation learning to capture intrinsic informational structures. Current self-supervised learning methods minimize a pair-wise covariance matrix to reduce the feature redundancy and produce promising results. However, such representation features of multiple variables may contain the redundancy among more than two feature variables that cannot be minimized via the pairwise regularization. Here we propose the High-Order Mixed-Moment-based Embedding (HOME) strategy to reduce the redundancy between any sets of feature variables, which is to our best knowledge the first attempt to utilize high-order statistics/information in this context. Multivariate mutual information is minimum if and only if multiple variables are mutually independent, which suggests the necessary conditions of factorized mixed moments among multiple variables. Based on these statistical and information theoretic principles, our general HOME framework is presented for self-supervised representation learning. Our initial experiments show that a simple version in the form of a three-order HOME scheme already significantly outperforms the current two-order baseline method (i.e., Barlow Twins) in terms of the linear evaluation on representation features.

研究の動機と目的

• 既存の自己教師あり手法が共分散正則化による2次元特徴冗長性の最小化に限定されているという限界に対処すること。
• 特徴変数間の高次統計的依存関係が表現品質を向上させうるかどうかを検討すること。
• 高次統計を用いて、すべての特徴変数の集合に対して最小冗長性を強制する、原理的かつ汎用的なフレームワークを開発すること。
• 高次混合モーメント、特に3次モーメントが、手動のアーキテクチャ制約なしに表現学習を顕著に向上させうることを示すこと。
• 深層学習におけるスケーラブルな高次モーメントに基づく自己教師あり学習の今後の研究基盤を確立すること。

提案手法

• HOMEフレームワークは、同一入力の増幅ビューから特徴を抽出するための単一ブランチニューラルネットワーク（エンコーダーとプロジェクタを備える）を用いる。
• 多変量相互情報量が最小となるのは変数が互いに独立である場合に限ることを利用し、複数の特徴変数にわたる混合モーメントの因数分解を強制する高次混合モーメント損失を導入する。
• データの変換ビューにわたるクロスおよび自己混合モーメントのテンソルを用いて、3次混合モーメント制約を定式化する。
• 3つのバリエーションを検討した：HOME-T3-O2-Cross（3つのビュー間のクロス混合モーメント）、HOME-T2-O3-Cross（2つのビュー間のクロス混合モーメント）、HOME-T2-O3-Self（1つのビューにおける自己混合モーメント）、後者は計算コストを低く抑えながら同等の性能を示した。
• 損失関数はSGDを用いてエンドツーエンド最適化され、学習率スケジューリングにコサインスケジューリングが用いられ、表現品質の評価には線形プローブが使用された。
• フレームワークは非対称ネットワーク、モーメンタム更新、メモリバンクを一切必要とせず、高次モーメント正則化に依存している。

実験結果

リサーチクエスチョン

• RQ1 2次元相関を超える高次混合モーメントが自己教師あり表現学習を向上させうるか？
• RQ2 3次混合モーメントの因数分解は、2次共分散最小化を上回るより優れた表現を達成するのに十分か？
• RQ3 高次統計を用いて相互独立性を強制することで、よりコンactかつ情報量の多い特徴表現が得られるか？
• RQ4 高次モーメント制約を課した対称的で単一ブランチのアーキテクチャが、アーキテクチャ的・訓練上のテクニックなしに、既存の最先端手法を上回るか？
• RQ5 実用的に高次モーメントを用いることは可能か？ また、性能と計算コストのトレードオフにおいて、クロス vs. セルフのどちらのバリエーションが最良か？

主な発見

• 3次元HOMEフレームワークは、CIFAR-10における線形プローブ評価で、2次元のBarlow Twinsベースラインを4.1%上回るトップ1精度を達成した。
• HOME-T2-O3-Self-Oneは、ランダムに選択された1つの変換にのみ3次混合モーメント制約を適用するが、より複雑なバリエーションと同等の性能を示し、性能の損失なしに計算効率が向上した。
• HOME-T2-O3-Crossはトップ1精度91.2%、トップ5精度99.7%を達成し、MoCo、SimCLR、BYOL、DINOを含むすべてのベースラインを上回った。
• 非対称ネットワーク設計、モーメンタム更新、メモリバンク、ストップ勾配を一切使用せず、CIFAR-10で最先端の結果を達成した。
• 高次モーメントの因数分解により多変量相互情報量を最小化することで、より分離可能で情報量の多い表現が得られることを理論的主張が裏付けられた。
• 本研究は、高次統計が自己教師あり学習において効果的に活用可能であることを示し、今後の研究における新たな方向性を開いた。