[논문 리뷰] Disentangling Factors of Variation via Generative Entangling

Guillaume Desjardins, Aaron Courville외 1명|arXiv (Cornell University)|2012. 10. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 78

한 줄 요약

이 논문은 다중 이진 잠복 변수 간의 스팂-슬래브 제한 볼츠만 기계의 고차원 상호작용을 도입함으로써 데이터 내 변화 요인을 분리하는 고차수 스팍-슬래브 제한 볼츠만 기계(hossRBM)를 제안한다. 잠복 요인 간의 곱셈 상호작용을 모델링함으로써, 학습 중 레이블 정보를 사용하지 않고도 정체성과 표정과 같은 기저의 변화 요인을 비지도 학습 방식으로 추론하고 분리할 수 있다. 이는 표정 분류 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Here we propose a novel model family with the objective of learning to disentangle the factors of variation in data. Our approach is based on the spike-and-slab restricted Boltzmann machine which we generalize to include higher-order interactions among multiple latent variables. Seen from a generative perspective, the multiplicative interactions emulates the entangling of factors of variation. Inference in the model can be seen as disentangling these generative factors. Unlike previous attempts at disentangling latent factors, the proposed model is trained using no supervised information regarding the latent factors. We apply our model to the task of facial expression classification.

연구 동기 및 목표

• 레이블이 없는 비지도 학습 환경에서도 데이터 내 다수의 얽힌 변화 요인을 분리할 수 있는 딥 생성 모델을 개발하는 것.
• 기존의 풀링 기반 방법의 한계를 해결하는 것 — 즉, 세부적인 특징 표현을 요약함으로써 데이터 표현이 불완전해지는 문제를 해결하는 것.
• 이진 잠복 변수 간의 고차수 상호작용이 복잡한 생성적 얽힘을 모델링하고 추론 과정을 통해 효과적인 분리를 가능하게 하는지 탐구하는 것.
• 비지도 사전학습만을 사용하여, 분리된 표현이 후속 작업(예: 표정 분류)에 얼마나 유용한지 평가하는 것.
• 분리된 표현이 표준 풀링 기반 모델이나 비분리 모델보다 분류 정확도에서 뛰어나다는 것을 입증하는 것.

제안 방법

• 스팍-슬래브 제한 볼츠만 기계(ssRBM)를 확장하여 다수의 이진 잠복 변수 간에 고차수 상호작용을 도입함. 스팍 변수와 두 그룹의 슬래브 변수(g 및 h 유닛) 사이에 삼중 상호작용을 형성함.
• 잠복 요인 간의 곱셈 상호작용(예: 정체성과 표정)이 복합적인 데이터 패턴을 생성하는 방식으로 생성 과정을 모델링함.
• 스파이크 변수와 두 풀링 그룹(g 및 h)에 대응하는 구조적 가중치 텐서 W를 사용하여 블록 간의 공간적으로 일관된 특징 학습을 가능하게 함.
• 레이블이 없는 조건에서 분리된 요인에 대한 정보를 필요로 하지 않는 비지도 근사 최대우도 학습을 통해 모델 파라미터를 학습함.
• 잠복 변수의 사후 분포를 계산하여 관측된 데이터에 각 요인이 기여하는 방식을 효과적으로 분리함.
• 학습된 표현을 선형 SVM의 입력으로 사용하여 표정 분류 성능을 평가하고, 요인 분리된 표현과 분리되지 않은 표현을 비교함.

실험 결과

연구 질문

• RQ1 이진 잠복 변수 간의 고차수 상호작용이 데이터 내 다수의 변화 요인을 효과적으로 얽히게 모델링할 수 있는가?
• RQ2 이러한 모델의 비지도 학습이 후속 분류 작업에 유용한 분리된 표현을 생성하는가?
• RQ3 표현 분리된 표현이 표준 풀링 기반 모델이나 비분리 모델에 비해 표정 인식 성능에서 어떻게 비교되는가?
• RQ4 요인에 대한 어떤 지도 정보 없이도 모델이 의미 있고 해석 가능한 특징 그룹(예: 정체성 대비 표정)을 학습할 수 있는가?
• RQ5 분리 후의 표현(후처리된 표현)이 전체적인 비분리 표현보다 분류 정확도에서 더 뛰어나게 되는가?

주요 결과

• hossRBM는 요인 분리 표현을 사용하여 토리onto 얼굴 데이터셋에서 77.4%의 테스트 정확도를 달성하여 모든 기준 모델을 초월함.
• K=330, M=3, N=3인 모델 설정에서 최고의 테스트 정확도(77.4%)를 기록함으로써 고차수 분리의 효과성을 입증함.
• 모든 모델 크기에서 요인 분리 표현이 비분리 표현보다 일관되게 뛰어난 성능을 보였으며, 이는 분리가 더 정보적인 특징을 생성함을 확인함.
• 각 블록 내에서 학습된 필터는 전반적인 일관성을 보이며 특정 정체성과 감정의 부분집합에 특화되어 있었고, g-유닛은 감정을, h-유닛은 정체성을 인코딩함.
• 모델의 성능(77.4%)은 픽셀 수준의 SVM(71.5%)과 MLP(72.72%)를 뛰어넘었으며, 더 복잡한 딥 모델인 mPoT(82.4%)와도 경쟁 가능함.
• 결과는 잠복 요인의 생성적 얽힘을 통한 분리가 레이블 감독 없이도 분류 작업의 표현 품질을 향상시킬 수 있다는 가설을 검증함.