[논문 리뷰] Semi-Supervised Learning with Normalizing Flows

Pavel Izmailov, Polina Kirichenko외 2명|arXiv (Cornell University)|2019. 12. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 7

한 줄 요약

이 논문은 정규화 흐름과 잠재 공간의 가우시안 혼합 모델을 사용하여 레이블이 붙은 데이터와 레이블이 없는 데이터를 정확한 우도 기반으로 동시에 모델링하는 새로운 준지도 학습 방법인 FlowGMM을 제안한다. 이는 엔드 투 엔드 학습을 가능하게 하며, 해석 가능한 결론 경계, 실시간 특징 시각화, 텍스트, 표준형 및 이미지 데이터에서 뛰어난 성능을 발휘하며, 특히 생성 모델링과 해석 가능성에서 분류 기반 기준보다 뛰어나다.

ABSTRACT

Normalizing flows transform a latent distribution through an invertible neural network for a flexible and pleasingly simple approach to generative modelling, while preserving an exact likelihood. We propose FlowGMM, an end-to-end approach to generative semi supervised learning with normalizing flows, using a latent Gaussian mixture model. FlowGMM is distinct in its simplicity, unified treatment of labelled and unlabelled data with an exact likelihood, interpretability, and broad applicability beyond image data. We show promising results on a wide range of applications, including AG-News and Yahoo Answers text data, tabular data, and semi-supervised image classification. We also show that FlowGMM can discover interpretable structure, provide real-time optimization-free feature visualizations, and specify well calibrated predictive distributions.

연구 동기 및 목표

• 레이블이 붙은 데이터와 레이블이 없는 데이터를 하나의 확률 모델로 정확한 우도 기반으로 통합적으로 다룰 수 있는 엔드 투 엔드 생성 준지도 학습 프레임워크를 개발한다.
• 정규화 흐름의 역행성 구조와 잠재 공간의 가우시안 혼합 모델을 활용하여 모델의 해석 가능성과 투명성을 향상시킨다.
• 역행성 중간 활성화를 통해 반복 최적화 없이 실시간으로 특징을 시각화할 수 있도록 하여 모델의 해석 가능성에 기여한다.
• 일관성 기반 방법이 종종 성능이 떨어지는 텍스트 및 표준형 데이터와 같이, 이미지 데이터를 넘어서 광범위한 적용 가능성을 입증한다.
• 결론 경계가 낮은 밀도 영역에 위치함을 확인하여 준지도 학습에서의 군집 원칙과 일치시킨다.

제안 방법

• FlowGMM은 입력 공간에서 데이터를 잠재 공간으로 매핑하기 위해 역행성 신경망(정규화 흐름)을 사용하며, 이 잠재 공간의 분포는 각 클래스에 해당하는 성분을 가진 가우시안 혼합 모델로 모델링된다.
• 모델은 유한한 유사도 기반으로 레이블이 붙은 데이터와 레이블이 없는 데이터의 정확한 결합 우도를 최대화함으로써 엔드 투 엔드로 학습된다.
• 분류 작업은 입력 데이터의 잠재 표현을 정규화 흐름을 통해 계산하고, 가장 가까운 가우시안 혼합 성분의 평균에 해당하는 클래스로 할당함으로써 수행된다.
• 특징 시각화는 정규화 흐름의 중간 활성화를 변형한 후 최적화 없이 데이터 공간으로 다시 역행성 변환함으로써 실시간으로 구현된다.
• 정규화 흐름의 역행성 특성을 활용하여 잠재 공간 내 특정 뉴런이나 채널의 영향을 직접 조작하고 시각화할 수 있다.
• 결론 경계는 잠재 공간 내 두 클래스 조건부 성분의 평균을 연결하는 선분의 수직 이등분선에 의해 암묵적으로 정의되며, 자연스럽게 낮은 밀도 영역을 선호한다.

실험 결과

연구 질문

• RQ1 정규화 흐름 기반 모델이 레이블이 붙은 데이터와 레이블이 없는 데이터에 대해 정확한 우도 기반으로 엔드 투 엔드 준지도 학습을 달성할 수 있는가?
• RQ2 FlowGMM의 잠재 공간 가우시안 혼합 모델 구조는 군집 원칙에 따라 데이터 공간의 낮은 밀도 영역에 결론 경계를 위치시키는가?
• RQ3 정규화 흐름의 역행성 구조가 반복 최적화 없이 실시간으로 모델의 행동을 드러내는 특징 시각화를 가능하게 하는가?
• RQ4 FlowGMM은 일관성 기반 및 그래프 기반 방법과 비교해도 텍스트 및 표준형 데이터에서 성능을 유의미하게 확보할 수 있는가? 특히 이러한 방법들이 종종 실패하는 영역에서의 성능을 입증한다.
• RQ5 FlowGMM은 다양한 데이터 모odal에서 잠재 공간 내에서 해석 가능하고 분리된 표현을 얼마나 잘 발견할 수 있는가?

주요 결과

• FlowGMM은 결론 경계 근처에 위치한 레이블이 없는 데이터 포인트의 수를 크게 감소시켰다. FlowGMM-cons에서 결론 경계로부터 거리 5 이내에 있는 점은 143개에 불과했고, 이는 감독 기반 기준 대비 1089개에 비해 현저히 낮은 수치이다. 이는 군집 원칙이 정확히 반영됨을 확인한다.
• 모델는 잘 校정된 예측 분포를 생성하며, 최적화 없이 중간 정규화 흐름 레이어의 변형을 역행성 변환하여 실시간으로 특징을 시각화할 수 있다.
• FlowGMM은 BERT 임베딩 기반 준지도 텍스트 분류 및 표준형 데이터에서 일관성 기반 및 그래프 기반 기준보다 뛰어난 성능을 보였다. 이러한 방법들은 일반적으로 이러한 영역에서 실패를 겪는 경향이 있다.
• 이 방법은 이미지, 텍스트, 표준형 영역 전반에서 실제적인 샘플을 모델의 데이터 공간에서 생성할 수 있어, 생성 능력을 효과적으로 입증한다.
• 잠재 공간의 구조는 해석 가능한 군집을 드러내며, 레이블이 붙은 데이터는 해당하는 가우시안 혼합 성분으로 매핑되고, 결론 경계는 낮은 밀도 영역에 위치한다.
• 특징 시각화 결과는 특정 채널이 무작위 이동에 의한 0으로 설정된 픽셀이나 색상 채널과 같은 구조적 패턴에 활성화됨을 보여주며, 학습된 표현에 대한 통찰을 제공한다.