[논문 리뷰] Semi-Conditional Normalizing Flows for Semi-Supervised Learning

Andrei Atanov, Alexandra Volokhova외 3명|arXiv (Cornell University)|2019. 05. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 22

한 줄 요약

이 논문은 정규화 흐름을 사용한 반조건부 아키텍처를 통해 데이터 및 레이블 분포를 동시에 모델링하는 딥 생성 모델인 반조건부 정규화 흐름(Semi-Conditional Normalizing Flows, SCNF)을 제안한다. 조건부 커파링 레이어와 다중스케일 흐름 아키텍처를 활용함으로써, SCNF는 레이블이 없는 데이터에 대해 정확한 가능도 최적화와 효율적인 주변 가능도 계산을 가능하게 하여, MNIST에서 최신 기준 성능을 달성하고 반감독 VAE를 능가한다.

ABSTRACT

This paper proposes a semi-conditional normalizing flow model for semi-supervised learning. The model uses both labelled and unlabeled data to learn an explicit model of joint distribution over objects and labels. Semi-conditional architecture of the model allows us to efficiently compute a value and gradients of the marginal likelihood for unlabeled objects. The conditional part of the model is based on a proposed conditional coupling layer. We demonstrate performance of the model for semi-supervised classification problem on different datasets. The model outperforms the baseline approach based on variational auto-encoders on MNIST dataset.

연구 동기 및 목표

• 감독 학습에서 레이블이 제한된 문제를 대비해 대규모 레이블이 없는 데이터를 활용함으로써 해결하고자 한다.
• 레이블이 있는 데이터와 없는 데이터에 대해 모두 계산 가능한 공동 가능도 추정이 가능한 딥 생성 모델을 개발하고자 한다.
• 반감독 설정에서 레이블이 없는 개체에 대해 효율적인 주변 가능도 계산을 지원하는 정규화 흐름 아키텍처를 설계하고자 한다.
• 정규화 흐름이 반감독 학습에 유용한 분리된, 비판적 특성이 아닌 표현을 암묵적으로 학습할 수 있는지 탐색하고자 한다.
• 기존 접근 방식(예: 반감독 VAE)과 비교하여 표준 반감독 분류 벤치마크에서 모델 성능을 평가하고자 한다.

제안 방법

• 모델은 레이블 조건에 따라 흐름 변환을 조절하는 반조건부 정규화 흐름 아키텍처를 사용하여 $ p_{\theta}(x,y) $ 의 공동 모델링을 가능하게 한다.
• 기존 커파링 레이어를 확장하여 레이블 조건에 따라 변환가능하고 계산 가능한 자코비안 행렬식을 보장하는 새로운 조건부 커파링 레이어를 도입한다.
• 다중스케일 흐름 아키텍처는 잠재 차원을 감소시키며 의미 정보를 유지하면서도, 레이블이 없는 데이터에 대한 효율적인 주변 가능도 계산을 가능하게 한다.
• 공동 가능도 $ p_{\theta}(x,y) $ 는 $ p_{\theta}(x|y)p(y) $ 로 인수분해되며, $ p(y) $ 는 균일한 사전분포로, $ p_{\theta}(x|y) $ 는 조건부 흐름으로 모델링된다.
• 레이블이 없는 데이터에 대한 주변 가능도 $ p_{\theta}(x) $ 는 모든 클래스에 대해 합산함으로써 계산되며, 계산 가능한 변수변환 공식을 활용한다.
• 모델은 변분 근사 없이 정확한 로그 가능도 목적함수(1)의 엔드 투 엔드 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 공동 분포 $ p_{\theta}(x,y) $ 를 계산 가능한 가능도로 모델링함으로써 정규화 흐름이 반감독 학습에 효과적으로 적용될 수 있는가?
• RQ2 반조건부 흐름 아키텍처가 레이블이 없는 데이터에 대해 효율적이고 정확한 주변 가능도 계산을 가능하게 하는가?
• RQ3 조건부 흐름에서 유도된 잠재 표현 $ z_h $ 가 클래스 레이블 $ y $ 와 독립적이므로, 비판적 특성이 아닌 표현으로서 기능할 수 있는가?
• RQ4 분류 정확도 및 가능도 최적화 안정성 측면에서 제안된 모델이 반감독 VAE와 비교해 어떻게 성능을 내는가?
• RQ5 모델의 아키텍처가 본질적으로 데이터를 가림 처리하는 메커니즘을 제공하는가, 그리고 이를 공정하거나 강건한 학습에 활용할 수 있는가?

주요 결과

• 제안된 SCNF 모델은 기존 반감독 VAE(Kingma 등, 2014)보다 MNIST 데이터셋에서 더 높은 분류 정확도를 달성하여 우월한 성능을 보였다.
• 변분 추론에 의존하지 않고 정확한 가능도 최적화를 달성하여 로그 가능도 목적함수의 직접 최대화가 가능했다.
• 조건부 흐름에서 유도된 잠재 표현 $ z_h $ 는 클래스 레이블 $ y $ 와 독립적임을 확인하여, 판별적 특성와 비판적 특성의 효과적인 분리가 이루어졌음을 시사했다.
• t-SNE 시각화 결과 $ z_h $ 표현은 클래스에 무관한 것으로 확인되었고, 반면 $ z_f $ 표현은 여전히 $ y $ 에 크게 의존함을 확인했다.
• 흐름의 설계 특성 덕분에 모델는 내재된 데이터 가림 메커니즘을 지니며, 이는 반감독 공정 학습에 유리할 수 있다.
• 더 복잡한 데이터셋에서는 은닉 흐름 구성 요소에 분류 손실을 적용함으로써 성능 향상을 도모할 수 있었지만, 여전히 데이터 증강 기법이 더 뛰어난 성능을 보였다.