[논문 리뷰] Better Mixing via Deep Representations

Yoshua Bengio, Grégoire Mesnil외 2명|arXiv (Cornell University)|2012. 07. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 207

한 줄 요약

이 논문은 깊이 있는 신경망 표현이 더 나은 분리 표현을 통해 기저 요인의 변동성을 분리함으로써 고밀도 다양체의 균일한 커버리지와 더불어 마르코프 체인 몽테카를로(MCMC)의 혼합을 향상시킨다고 제안한다. 실험 결과, 더 높은 층에서 샘플링할 경우 더 빠른 혼합, 더 나은 샘플 품질, 향상된 생성 성능를 보였으며, 분리 표현을 통해 효율적인 혼합과 강력한 분류 능력 간의 모순를 해소한다.

ABSTRACT

It has previously been hypothesized, and supported with some experimental evidence, that deeper representations, when well trained, tend to do a better job at disentangling the underlying factors of variation. We study the following related conjecture: better representations, in the sense of better disentangling, can be exploited to produce faster-mixing Markov chains. Consequently, mixing would be more efficient at higher levels of representation. To better understand why and how this is happening, we propose a secondary conjecture: the higher-level samples fill more uniformly the space they occupy and the high-density manifolds tend to unfold when represented at higher levels. The paper discusses these hypotheses and tests them experimentally through visualization and measurements of mixing and interpolating between samples.

연구 동기 및 목표

• 생성 모델링에서 더 깊은 표현이 더 빠른 혼합을 보이는 마르코프 체인을 유도하는지 조사하기.
• 깊은 표현에서 기저 요인의 변동성에 대한 더 나은 분리가 혼합 효율성을 향상시킨다는 가설을 검증하기.
• 고수준 표현이 고품질 샘플의 부피를 확장하면서도 분류 성능을 유지하거나 향상시키는지 검토하기.
• 향상된 혼합과 강력한 분류 성능 간의 모순를 해소하여, 더 가까운 클래스 다양체가 분류 가능성을 감소시킨다는 직관을 뒤집기.

제안 방법

• 저자들은 MNIST와 TFD 데이터셋에서 깊이 있는 오토인코더(CAE)와 깊이 있는 신뢰 네트워크(DBN)를 훈련시켜 계층적 표현을 학습한다.
• 다양한 표현 수준에서의 MCMC 샘플링 스텝 동안 방문한 고유한 클래스 수를 측정하여 혼합을 평가한다.
• 더 깊은 층에서 생성된 샘플을 기반으로 파르젠 창을 사용한 로그우도 추정을 통해 샘플 품질을 평가한다.
• 표현에 등방성 노이즈를 추가하고, 보간을 통해 다양체의 구조를 분석하며, 우도와 커버리지 측정치를 기록한다.
• 선형 SVM과 미세조정된 MLP를 사용하여 연결된 표현 또는 고수준 표현에서의 분류 성능을 평가한다.
• 지역 볼륨과 볼록 hull을 시각화하여 표현 깊이가 데이터 다양체 기하학에 미치는 영향을 연구한다.

실험 결과

연구 질문

• RQ1 더 깊은 표현에서 샘플링이 낮은 수준의 표현보다 MCMC 체인에서 더 빠른 혼합을 이끌어내는가?
• RQ2 더 깊은 표현이 기저 요인의 변동성, 특히 클래스 요인을 얼마나 잘 분리하는가?
• RQ3 더 깊은 층에서 고품질 샘플의 부피가 증가하는 것이 더 나은 분류 성능와 모순되며, 만약 그렇다면 어떻게 이를 조화시킬 수 있는가?
• RQ4 데이터 다양체의 기하학적 특성—특히 펼침과 확장—이 표현 수준에 따라 어떻게 변화하는가?
• RQ5 더 높은 층에서의 더 나은 혼합을 활용하여 MCMC를 기반으로 한 기울기 추정에 의존하는 깊이 있는 생성 모델의 훈련 효율성을 향상시킬 수 있는가?

주요 결과

• CAE와 DBN 모델의 더 깊은 층에서 샘플링할 경우 혼합 속도가著 빨라졌으며, 하위 층에서 100개의 샘플이 방문한 클래스 수보다 20개의 샘플이 더 많은 클래스를 방문했다.
• 더 깊은 층에서 생성된 샘플의 로그우도가 크게 향상되었으며, DBN-2는 로그우도 1908.80 ± 65.94를 기록했고, DBN-1은 604 ± 14.67를 기록했다.
• 더 높은 층에서 예시 간 보간을 수행할 경우 더 높은 우도의 샘플이 생성되어 다양체 커버리지와 부드러운 전이가 향상됨을 시사했다.
• 더 깊은 표현에 등방성 노이즈를 추가했을 때 더 현실적인 샘플이 생성되었으며, 이는 고밀도 영역이 더 높은 수준에서 더 잘 펼쳐지고 균일하게 커버됨을 확인했다.
• 향상된 혼합과 부피 확장에도 불구하고, 더 깊은 표현은 분류 성능을 유지하거나 향상시켰으며, CAE-2 특징을 사용한 미세조정된 MLP로 MNIST에서 0.81%의 오차율을 기록했다.
• 결과는 더 깊은 층에서 클래스 요인의 더 나은 분리가 더 나은 생성 샘플링과 강력한 분류 능력 간의 조화를 이룬다는 가설을 지지한다.