[논문 리뷰] A Method of Moments Embedding Constraint and its Application to Semi-Supervised Learning

Michael Majurski, Sumeet Menon외 2명|arXiv (Cornell University)|2024. 04. 27.

Neural Networks and Applications인용 수 1

한 줄 요약

이 논문은 깊은 신경망이 조건부 분포 p(Y|X)뿐 아니라 공동분포 p(Y, X)를 모델링할 수 있도록 해주는 Moment of Moments (MoM) 임bedding 제약을 제안한다. 표준 소프트맥스 레이어를 대체하여 미분 가능한 축에 수직인 가우시안 혼합 모델(AAGMM)을 사용하고, 4차까지의 MoM 제약을 적용함으로써, 레이블이 40개뿐인 CIFAR-10과 STL-10에서 최신 기준 성능을 달성한다. 또한 맨하탄오비스 거리 기반으로 강건한 이상치 탐지가 가능하다.

ABSTRACT

Discriminative deep learning models with a linear+softmax final layer have a problem: the latent space only predicts the conditional probabilities $p(Y|X)$ but not the full joint distribution $p(Y,X)$, which necessitates a generative approach. The conditional probability cannot detect outliers, causing outlier sensitivity in softmax networks. This exacerbates model over-confidence impacting many problems, such as hallucinations, confounding biases, and dependence on large datasets. To address this we introduce a novel embedding constraint based on the Method of Moments (MoM). We investigate the use of polynomial moments ranging from 1st through 4th order hyper-covariance matrices. Furthermore, we use this embedding constraint to train an Axis-Aligned Gaussian Mixture Model (AAGMM) final layer, which learns not only the conditional, but also the joint distribution of the latent space. We apply this method to the domain of semi-supervised image classification by extending FlexMatch with our technique. We find our MoM constraint with the AAGMM layer is able to match the reported FlexMatch accuracy, while also modeling the joint distribution, thereby reducing outlier sensitivity. We also present a preliminary outlier detection strategy based on Mahalanobis distance and discuss future improvements to this strategy. Code is available at: \url{https://github.com/mmajurski/ssl-gmm}

연구 동기 및 목표

• 준지도 학습에서 소프트맥스 기반의 깊은 분류기의 과신뢰성과 이상치 민감도 문제를 해결하기 위해.
• 잠재 공간에서 조건부 분포 p(Y|X)뿐 아니라 전체 공동분포 p(Y, X)를 모델링할 수 있도록 하기 위해.
• 클래스 클러스터 중심점을 가우시안 혼합 성분으로 명시적으로 모델링하는 미분 가능한 최종 레이어를 개발하기 위해.
• 낮은 사전 확률을 가진 입력을 이상치로 식별함으로써 모델의 과신뢰성과 환상적 예측을 감소시키기 위해.
• 제한된 레이블 데이터에서 잘 구조화된 잠재 공간을 학습함으로써 준지도 학습의 강건성을 향상시키기 위해.

제안 방법

• 1차에서 4차까지의 다항 모멘트를 사용하여 잠재 공간이 잘 조절된 가우시안 분포로 수렴하도록 유도하는 Method of Moments (MoM) 제약을 적용한다.
• 최종 선형+소프트맥스 레이어를 대체로, 클러스터 중심점과 공분산을 명시적으로 모델링하는 미분 가능한 축에 수직인 가우시안 혼합 모델(AAGMM)을 사용한다.
• 학습된 공동분포 기반으로 잠재 공간에서 맨하탄오비스 거리를 이용한 이상치 탐지 전략을 시행한다.
• 고신뢰도의 가짜 레이블 샘플 뿐 아니라 모든 비라벨 데이터에 MoM 페널티를 적용하여 전체 공동분포를 적합시킨다.
• 일致성 정규화와 가짜 레이블링을 사용하여 모델을 훈련하고, AAGMM 레이어를 통해 공동분포 학습을 가능하게 한다.
• AAGMM 레이어와 MoM 제약을 모두 통해 역전파가 가능한 훈련 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 Method of Moments 제약이 준지도 학습에서 잠재 공간의 구조를 향상시킬 수 있는가?
• RQ2 공동분포 p(Y, X)를 모델링하면 모델의 과신뢰성 감소와 이상치 탐지 성능 향상이 이루어지는가?
• RQ3 미분 가능한 AAGMM 레이어가 최신 기준 성능에 도달하면서도 잠재 공간의 생성 모델링을 가능하게 할 수 있는가?
• RQ4 고차수 MoM 제약을 포함할 경우 모델 정확도와 메모리 사용량에 어떤 영향을 미치는가?
• RQ5 잠재 공간에서 맨하탄오비스 거리가 효과적이고 미분 가능한 이상치 탐지 메커니즘으로 기능할 수 있는가?

주요 결과

• 2차 또는 4차 MoM 제약을 적용한 AAGMM 레이어는 레이블이 40개인 CIFAR-10에서 94.98%의 정확도를 달성하여 보고된 FlexMatch 성능과 동일하다.
• MoM-AAGMM 방법은 기준 AAGMM(1.03) 및 KMeans(18.41) 대비 CIFAR-10에서 잠재 공간 클러스터의 밀도를 48% 감소시켰다(0.53 L2 거리).
• STL-10에서는 1차 MoM를 사용하여 71.11%의 정확도를 기록했으며, 기준 FixMatch(35.97%) 및 FlexMatch(29.15%)를 모두 초월했다(레이블 수 40개).
• 맨하탄오비스 거리의 90퍼센트 분위수를 기준으로 이상치를 제거한 결과, MoM 적용 시 CIFAR-10에서 테스트 정확도가 약 7% 감소하여 내재된 샘플까지 과도하게 걸러내는 경향을 보였다.
• 고차수 MoM 제약을 적용할수록 GPU 메모리 사용량이 크게 증가하였으며, 8D 임베딩일 경우 4차 제약에서 8.76 GiB, 32D 임베딩일 경우 20.47 GiB에 이를 정도로 실용적 확장성에 제약이 있었다.