[論文レビュー] A Method of Moments Embedding Constraint and its Application to Semi-Supervised Learning

Michael Majurski, Sumeet Menon+2 more|arXiv (Cornell University)|Apr 27, 2024

Neural Networks and Applications被引用数 1

ひとこと要約

本稿では、深層ニューラルネットワークが条件付き分布 p(Y|X) のみではなく、結合分布 p(Y, X) をモデル化できるようにするため、モーメント法（MoM）埋め込み制約を提案する。標準のソフトマックス層に代えて微分可能な軸に沿ったガウス混合モデル（AAGMM）を導入し、4次までのモーメント制約を適用することで、40ラベルのみでCIFAR-10およびSTL-10で最先端の精度を達成するとともに、マハラノビス距離を用いたロバストな外れ値検出を可能にする。

ABSTRACT

Discriminative deep learning models with a linear+softmax final layer have a problem: the latent space only predicts the conditional probabilities $p(Y|X)$ but not the full joint distribution $p(Y,X)$, which necessitates a generative approach. The conditional probability cannot detect outliers, causing outlier sensitivity in softmax networks. This exacerbates model over-confidence impacting many problems, such as hallucinations, confounding biases, and dependence on large datasets. To address this we introduce a novel embedding constraint based on the Method of Moments (MoM). We investigate the use of polynomial moments ranging from 1st through 4th order hyper-covariance matrices. Furthermore, we use this embedding constraint to train an Axis-Aligned Gaussian Mixture Model (AAGMM) final layer, which learns not only the conditional, but also the joint distribution of the latent space. We apply this method to the domain of semi-supervised image classification by extending FlexMatch with our technique. We find our MoM constraint with the AAGMM layer is able to match the reported FlexMatch accuracy, while also modeling the joint distribution, thereby reducing outlier sensitivity. We also present a preliminary outlier detection strategy based on Mahalanobis distance and discuss future improvements to this strategy. Code is available at: \url{https://github.com/mmajurski/ssl-gmm}

研究の動機と目的

• 半教師あり学習におけるソフトマックスベースの深層分類器の過信と外れ値への感受性を軽減すること。
• 潜在空間における結合分布 p(Y, X) のモデル化を可能にすること、条件付き分布 p(Y|X) のみではないこと。
• クラスクラスタの重心をガウス混合成分で明示的にモデル化する微分可能な最終層の開発。
• 低事前確率の入力を外れ値として特定することで、モデルの過信と幻想的生成を低減すること。
• 限られたラベルデータ下でも、整合的な潜在空間を学習することで、半教師あり学習のロバスト性を向上させること。

提案手法

• 1次から4次までの多項式モーメントを用いたモーメント法（MoM）制約を適用し、潜在空間を整合性のあるガウス分布に正則化する。
• 最終層の線形＋ソフトマックス層を、クラスタ重心と分散を明示的にモデル化する微分可能な軸に沿ったガウス混合モデル（AAGMM）に置き換える。
• 学習された結合分布に基づいて、潜在空間におけるマハラノビス距離を外れ値検出の予備的戦略として用いる。
• 高信頼度の偽ラベル付きサンプルに限定せず、すべての未ラベルデータにMoMペナルティを適用することで、結合分布全体の適合を図る。
• 一貫性正則化と偽ラベル化を用いてモデルを訓練し、AAGMM層により結合分布の学習を可能にする。
• AAGMM層とMoM制約をすべて微分可能にし、バックプロパゲーションが可能となるトレーニングパイプラインを採用する。

実験結果

リサーチクエスチョン

• RQ1 モーメント法（MoM）制約は、半教師あり学習における潜在空間の構造を改善できるか？
• RQ2 結合分布 p(Y, X) をモデル化することで、モデルの過信を軽減し、外れ値検出を向上させられるか？
• RQ3 微分可能なAAGMM層は、SOTAと同等の性能を達成しつつ、潜在空間の生成的モデリングを可能にするか？
• RQ4 高次モーメント制約の導入が、モデルの精度とメモリ使用量に与える影響は何か？
• RQ5 潜在空間におけるマハラノビス距離は、効果的で微分可能な外れ値検出メカニズムとして機能するか？

主な発見

• 2次または4次モーメント制約を適用したAAGMM層は、CIFAR-10で40ラベルで94.98%の精度を達成し、報告されたFlexMatch性能と同等となった。
• MoM-AAGMM手法は、CIFAR-10において、ベースラインAAGMM（1.03）とKMeans（18.41）と比較して、潜在空間のクラスタの凝集度を48%低減した（L2距離0.53）。
• STL-10では、1次モーメント制約を用いた手法が、40ラベルで71.11%の精度を達成し、ベースラインFixMatch（35.97%）とFlexMatch（29.15%）を上回った。
• 90パーセンタイルのマハラノビス距離を用いた外れ値除去は、MoMを適用した場合、CIFAR-10でテスト精度を約7%低下させた。これは、インライナーが過剰にフィルタリングされている可能性を示唆している。
• 高次モーメント制約の導入に伴いGPUメモリ使用量が著しく増加し、8D埋め込みでは4次モーメントで8.76 GiB、32D埋め込みでは20.47 GiBに達した。これにより、実用的なスケーラビリティが制限された。