[논문 리뷰] Generative Class-conditional Autoencoders

Jan Rudy, Graham W. Taylor|arXiv (Cornell University)|2014. 12. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 6

한 줄 요약

이 논문은 클래스 레이블을 조건으로 삼아 복잡한 다중모드 데이터 분포를 모델링하기 위해 게이팅된 오토인코더를 사용하는 클래스 조건부 생성적 노이즈 제거 오토인코더를 제안한다. 벤지오 등(2013)의 마르코프 체인 샘플링 절차를 게이팅 아키텍처로 확장함으로써, 모델은 고해상도의 모드 혼합 샘플 생성을 가능하게 하는 조건부 전이 연산자를 학습한다. MNIST 및 TFD 데이터셋에서 기존의 단일모드 노이즈 제거 오토인코더보다 데이터 다양성을 더 잘 포착하는 것으로 나타났다.

ABSTRACT

Recent work by Bengio et al. (2013) proposes a sampling procedure for denoising autoencoders which involves learning the transition operator of a Markov chain. The transition operator is typically unimodal, which limits its capacity to model complex data. In order to perform efficient sampling from conditional distributions, we extend this work, both theoretically and algorithmically, to gated autoencoders (Memisevic, 2013), The proposed model is able to generate convincing class-conditional samples when trained on both the MNIST and TFD datasets.

연구 동기 및 목표

• 단일모드 전이 연산자가 노이즈 제거 오토인코더의 모델 용량을 제한하여 복잡한 데이터 분포를 다룰 수 없음을 해결하기 위해.
• 클래스 레이블을 활용하여 생성 과정을 조건화함으로써 데이터 구조와 모드 다양성을 더 표현력 있게 모델링하기 위해.
• 벤지오 등(2013)의 마르코프 체인 샘플링 프레임워크를 게이팅된 오토인코더에 확장하여 조건부 생성을 가능하게 하기 위해.
• 이중화된 MNIST와 실수값 TFD 얼굴 데이터셋에서 효과적인 클래스 조건부 샘플 생성을 입증하기 위해.
• 가중치 게이팅 추론 및 훈련을 통해 복잡한 다중모드 조건부 분포에서 효율적인 샘플링을 가능하게 하기 위해.

제안 방법

• 클래스별 게이팅 인자에 의해 가중치가 조절되는 게이팅된 오토인코더(GAE)를 제안하며, 이는 조건부 생성을 가능하게 한다.
• 벤지오 등(2013)의 워크백 훈련 절차를 변형하여, 훈련 데이터에서 초기화된 마르코프 체인의 5단계에 걸쳐 복원 손실을 평균화한다.
• 강건한 특징 학습과 자명한 항등 학습을 방지하기 위해 훈련 시 50%의 노이즈 비율을 가진 소금-후추 노이즈를 사용한다.
• 안정적인 최적화를 위해 학습률 감소와 운동량을 적용한 네스테로프 가속 경사 하강법을 사용한다.
• 이중화된 MNIST에는 시그모이드 활성화 출력을 사용하고 교차 엔트로피 손실을 적용하며, 실수값 TFD에는 실수값 출력과 평균 제곱오차 손실을 사용한다.
• 샘플링은 영벡터에서 시작하여 반복적으로 노이즈를 적용하고 복원하는 방식으로 마르코프 체인 단계를 거쳐 점진적인 샘플을 생성한다.

실험 결과

연구 질문

• RQ1 게이팅된 오토인코더는 노이즈 제거 오토인코더의 모델링 용량을 복잡한 다중모드 데이터 분포에 대해 향상시킬 수 있는가?
• RQ2 클래스 레이블을 생성 과정에 조건화함으로써, 표준 노이즈 제거 오토인코더보다 더 나은 모드 커버리지와 샘플 다양성을 달성할 수 있는가?
• RQ3 벤지오 등(2013)의 마르코프 체인 샘플링 절차는 게이팅된, 클래스 조건부 모델로 성공적으로 확장될 수 있는가?
• RQ4 제안된 모델은 이중화된 이미지 데이터셋과 실수값 이미지 데이터셋 모두에서 현실적이면서 클래스별 특성을 반영한 샘플 생성에 얼마나 효과적인가?
• RQ5 클래스 간 가중치 공유가 일반화를 향상시키면서도 클래스별 생성 능력을 유지하는 데 얼마나 기여하는가?

주요 결과

• 모델은 마르코프 체인의 몇 단계만으로도 매우 현실적인 다양한 샘플을 생성하며, 노이즈에서 현실적인 숫자로의 진행이 뚜렷하게 관찰된다.
• 이중화된 MNIST에서 모델은 숫자 '2'의 고리형과 촉점형 변형을 모두 성공적으로 생성하여 모드 혼합과 다중모드 포착 능력을 입증한다.
• TFD 모델은 7개 클래스 전반에 걸쳐 납득할 수 있는 표정을 생성하지만, MNIST에 비해 다양성이 떨어지며, 이는 훈련 데이터셋 크기가 작기 때문일 것이다.
• 다른 잡음 콘텐츠는 최소한으로 나타나 대부분의 생성된 이미지가 각 클래스에 대해 인식 가능하고 의미적으로 유의미하다.
• 훈련 시 5단계의 워크백을 적용함으로써 단일단계 훈련에 비해 복원 품질과 샘플 정밀도가 크게 향상된다.
• 게이팅 아키텍처는 클래스 간 효과적인 가중치 공유를 가능하게 하면서도 강력한 클래스별 생성 능력을 유지함으로써, 조건부 분포의 효율적 파arameterization을 가능하게 한다.