[논문 리뷰] Disentangling representations in Restricted Boltzmann Machines without adversaries

Jorge Fernández-de-Cossio-Díaz, Simona Cocco외 1명|arXiv (Cornell University)|2022. 06. 23.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 적대적 훈련을 사용하지 않고 제약 조건 기반 방법을 통해 제한된 볼츠만 기계(Restricted Boltzmann Machines, RBMs) 내 표현을 분리(disentangle)하는 것을 제안한다. 이는 학습 중에 가중치 제약 조건을 부여하여 레이블 정보가 일부 은닉 유닛에 집중되도록 함으로써 이루어지며, 이로 인해 로그우도(log-likelihood) 손실이 매우 작아지면서도 해석 가능하고 제어 가능한 생성이 가능하다. 또한, 파oincaré 분리 정리(Poincaré separation theorem)를 통해 분리 비용을 분석적으로 계산할 수 있다.

ABSTRACT

A goal of unsupervised machine learning is to build representations of complex high-dimensional data, with simple relations to their properties. Such disentangled representations make easier to interpret the significant latent factors of variation in the data, as well as to generate new data with desirable features. Methods for disentangling representations often rely on an adversarial scheme, in which representations are tuned to avoid discriminators from being able to reconstruct information about the data properties (labels). Unfortunately adversarial training is generally difficult to implement in practice. Here we propose a simple, effective way of disentangling representations without any need to train adversarial discriminators, and apply our approach to Restricted Boltzmann Machines (RBM), one of the simplest representation-based generative models. Our approach relies on the introduction of adequate constraints on the weights during training, which allows us to concentrate information about labels on a small subset of latent variables. The effectiveness of the approach is illustrated with four examples: the CelebA dataset of facial images, the two-dimensional Ising model, the MNIST dataset of handwritten digits, and the taxonomy of protein families. In addition, we show how our framework allows for analytically computing the cost, in terms of log-likelihood of the data, associated to the disentanglement of their representations.

연구 동기 및 목표

• 적대적 훈련에 의존하지 않고 비지도 학습 모델에서 분리된 표현을 학습하는 방법을 개발하는 것. 적대적 훈련은 수치적으로 불안정한 것으로 알려져 있다.
• 레이블 관련 정보를 소수의 잠재 변수에 집중시켜 생성된 데이터에 대한 해석 가능한 제어를 가능하게 하는 것.
• 분리 비용의 로그우도 손실을 분석적으로 계산할 수 있는 프레임워크를 제공하는 것.
• 이를 다양한 데이터셋(이미지, 물리학, 생물학 데이터 포함)에 대해 효과적으로 적용함을 보여주는 것.
• 분리 및 특징 수직 모델링을 위한 부분적으로 및 완전히 제약된 RBM 아키텍처를 탐색하는 것.

제안 방법

• 학습 중에 RBM 가중치에 명시적 제약 조건을 도입하여 데이터 레이블에 대한 정보 흐름을 일부 은닉 유닛에 국한시키는 것.
• 특정 은닉 유닛이 레이블 클래스의 프로토타입 유사 표현을 인코딩하도록 선형 제약 조건을 적용하며, 이는 클래스 중심 간 상대적 차이와 일치하도록 한다.
• 부분적으로 제약된 RBM을 사용하여 레이블 관련 특징을 분리하면서도 제약이 없는 은닉 유닛을 통해 데이터 생성 품질을 유지하는 것.
• 완전히 제약된 RBM을 구현하여 레이블과 수직인 데이터 특징을 모델링하고, 구조적 및 고차원 상관관계를 유지하는 것.
• 가우스 혼합 근사에 대해 파oincaré 분리 정리를 활용하여 분리에 기인한 로그우도 손실 및 부분적 삭제에 기인한 손실에 대한 분석적 표현을 유도하는 것.
• 다양한 데이터셋(CelebA, 이징 모델, MNIST, PFAM)에 RBM을 훈련하고, 레이블 제어 및 우도 지표를 통해 분리도를 평가하는 것.

실험 결과

연구 질문

• RQ1 적대적 훈련 없이 RBM에서 분리된 표현을 학습할 수 있으며, 이 방법이 실제 세계 데이터에 얼마나 효과적인가?
• RQ2 분리를 강제로 구현할 경우 로그우도 손실은 얼마나 되며, 이를 분석적으로 정량화할 수 있는가?
• RQ3 제약된 은닉 유닛은 레이블 정보를 어떻게 인코딩하는가? 그리고 제약이 없는 유닛에는 레이블 정보가 어느 정도 유지되는가?
• RQ4 레이블 정보가 제거된 경우 완전히 제약된 RBM이 의미 있는 데이터를 생성할 수 있는가? 어떤 조건에서 가능한가?
• RQ5 훈련 안정성, 해석 가능성, 생성 품질 측면에서 이 방법은 적대적 접근과 비교해 어떻게 되는가?

주요 결과

• 제약 기반 방법은 CelebA, 이징 모델, MNIST, PFAM 단백질 가족을 포함한 네 가지 다양한 데이터셋에서 RBM 내 표현 분리를 성공적으로 달성하였다.
• 분리에 기인한 로그우도 손실이 매우 작아지며, 이는 이 방법의 높은 효율성과 강건성을 시사한다.
• 부분적으로 제약된 RBM은 소수의 전용 은닉 유닛을 조작하여 얼굴 특징 또는 숫자 클래스와 같은 생성된 데이터 속성에 효과적으로 제어할 수 있다.
• 소수의 해제된 은닉 유닛은 데이터 공간에서 클래스 중심 간 벡터 차이와 일치하는 프로토타입 유사 방식으로 레이블 관련 특징을 인코딩한다.
• 소수의 유닛에 집중된 것으로 보이지만, 제약된 은닉 유닛에는 상당한 레이블 정보가 고차원 상관관계를 통해 유지되어 있으며 접근 가능하다.
• 클래스 간 간격이 넓은 데이터셋(MNIST0/1, 이징 모델)의 경우 완전히 제약된 RBM은 데이터와 현저히 다른 샘플을 생성하지만, 열용량이나 픽셀 상관관계와 같은 고차원 모멘트를 유지하므로 잔여 구조가 존재함을 시사한다.