[論文レビュー] Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction

Yaodong Yu, Kwan Ho Ryan Chan+3 more|arXiv (Cornell University)|Jun 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 58

ひとこと要約

本論文は Maximal Coding Rate Reduction (MCR2) を提案する。これは、全データとクラス別サブセット間の符号化率の差を最大化する情報理論的目的関数であり、教師あり、自己教師あり、教師なし設定を跨いで多様で識別性のある表現を学習し、ラベルノイズに対して頑健で、強力なクラスタリング性能を持つ。

ABSTRACT

To learn intrinsic low-dimensional structures from high-dimensional data that most discriminate between classes, we propose the principle of Maximal Coding Rate Reduction ($ ext{MCR}^2$), an information-theoretic measure that maximizes the coding rate difference between the whole dataset and the sum of each individual class. We clarify its relationships with most existing frameworks such as cross-entropy, information bottleneck, information gain, contractive and contrastive learning, and provide theoretical guarantees for learning diverse and discriminative features. The coding rate can be accurately computed from finite samples of degenerate subspace-like distributions and can learn intrinsic representations in supervised, self-supervised, and unsupervised settings in a unified manner. Empirically, the representations learned using this principle alone are significantly more robust to label corruptions in classification than those using cross-entropy, and can lead to state-of-the-art results in clustering mixed data from self-learned invariant features.

研究の動機と目的

• 高次元データにおいてクラス間を識別する内在的な低次元構造の学習を動機づける。
• クラス間多様性とクラス内凝縮性を促す principled measure（MCR2）を定義・最適化する、符号化率削減に基づく。
• 多様で識別的な特徴を学習するための理論的保証を提供する。
• MCR2 が教師あり、自己教師あり、教師なし設定を統一的なフレームワークで機能することを示す。
• ラベルの改ざんに対する頑健性と実データでの競争力のあるクラスタリング性能を実証する。

提案手法

• 符号化率 R(Z, ε) と partition Π のクラス別符号化率 R^c(Z, ε|Π) を定義する。
• ΔR(Z, Π, ε) = R(Z, ε) – R^c(Z, ε|Π) を定式化し、Z_j (Σ) の正規化制約に基づいて ΔR を最大化して比較可能なスケールを保証する。
• 適切な条件下で最適な MCR2 表現はクラス間直交性と最大のクラス内部分空間次元を生み出すと理論化する。
• MCR2 を情報利得とコントラスト学習と関連づけ、核ノルムに基づく損失（OLE）と対比する。
• 小さな minibatch で確率的勾配降下法を用いて損失を最適化し、教師あり（ラベルから固定 Π）と自己教師あり（サンプルごとにデータ拡張をラベル付け）設定を使用する。
• 表現を監督学習では最近傍サブスペース分類器で、自己教師あり/無監督設定ではクラスタリング指標で評価する。）

実験結果

リサーチクエスチョン

• RQ1 ラベルに依存しない、レートベースの測定で、監督学習・自己教師あり・無監督学習に適した表現の凝縮性を定量化できるか。
• RQ2 符号化率削減を最大化すると、異なる学習パラダイムで識別的で多様で頑健な表現が得られるか。
• RQ3 MCR2 はラベルノイズの頑健性とクラスタリング性能の点でクロスエントロピー、情報ボトルネック、コントラスト学習と比較してどうか。
• RQ4 特にサブスペース（低次元）領域での MCR2 表現の理論的性質は何か。
• RQ5 適切な条件下で MCR2 が自動的に直交し最大次元のマルチクラスサブスペース構造を促進できるか。

主な発見

• MCR2 学習表現は、教師あり訓練中に全データの符号化率 R が増加し、クラス別符号化率 R^c が減少することを示し、グローバル構造の拡大とクラス特有構造の圧縮を示す。
• MCR2 で学習した表現は、クロスエントロピーと比較して各クラス内のサブスペース次元が大きく、より多様で多面的な特徴を示す。
• MCR2 の訓練は汚染ラベルに対して頑健で、ラベル汚染が増加しても精度を高く維持する。
• 自己教師あり/拡張ベース設定では、制御されたダイナミクスを伴う MCR2 が競争力のあるクラスタリング性能を発揮し、CIFAR10 で不変特徴を用いた強力な結果を含む。
• 理論的分析は、適切な条件下で最適な Z* が直交するクラスサブスペースと最大次元を持ち、多様で識別的な表現を促進すると示す。