[논문 리뷰] Layer-wise learning of deep generative models

Ludovic Arnold, Yann Ollivier|arXiv (Cornell University)|2012. 12. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 10인용 수 12

한 줄 요약

이 논문은 하위 레이어에서 상위 레이어로 향하는 훈련을 지도하기 위해 미래 성능의 낙관적 근사치로 간주되는 최적의 잠재 마진 (BLM) 상한을 사용하는 계층별 훈련 절차를 제안한다. 이는 온건한 조건 하에서 전역 최적화를 근사할 수 있음을 증명하며, 실제로 더 풍부한 추론 모델(데이터에서 잠재 변수로의 사전 분포)을 생성 모델(잠재 변수에서 데이터로의 사후 분포)보다 더 풍부하게 사용할 경우 성능이 크게 향상됨을 보이며, 합성 및 실제 데이터셋에서 스택드 RBM을 능가한다.

ABSTRACT

When using deep, multi-layered architectures to build generative models of data, it is difficult to train all layers at once. We propose a layer-wise training procedure admitting a performance guarantee compared to the global optimum. It is based on an optimistic proxy of future performance, the best latent marginal. We interpret auto-encoders in this setting as generative models, by showing that they train a lower bound of this criterion. We test the new learning procedure against a state of the art method (stacked RBMs), and find it to improve performance. Both theory and experiments highlight the importance, when training deep architectures, of using an inference model (from data to hidden variables) richer than the generative model (from hidden variables to data).

연구 동기 및 목표

• 기울기의 계산이 불가능하고 고차원의 잠재 공간이 존재하는 깊이 있는 생성 모델을 종단 간 훈련하는 데 어려움을 해결하기 위해.
• 계층별 훈련이 로그우도의 전역 최적화를 근사할 수 있음을 이론적으로 정당화하기 위해.
• 데이터에서 잠재 변수로의 추론 모델(생성 모델보다 더 표현력이 뛰어난)의 중요성을 강조하기 위해.
• 최신 기술인 스택드 RBM과의 비교를 통해 합성 및 실제 깊이 있는 데이터셋에서 이론적 방법을 실증적으로 검증하기 위해.
• 프레임워크의 실용적 구현으로서 풍부한 추론 능력을 갖춘 오토인코더(AERIes)를 도입하고 평가하기 위해.

제안 방법

• 앞서 훈련된 상위 레이어의 성공을 가정할 때, 향후 성능의 낙관적 근사치로 BLM 상한을 도입한다.
• BLM 상한을 사용해 하위 레이어를 훈련하며, 기준은 $ \hat{\mathcal{U}}_{\mathcal{D},q}(\theta_I) = \mathbb{E}_{\mathbf{x} \sim P_{\mathcal{D}}} \left[ \log \sum_{\tilde{\mathbf{x}}} \sum_{\mathbf{h}} P_{\theta_I}(\mathbf{x}|\mathbf{h}) q(\mathbf{h}|\tilde{\mathbf{x}}) P_{\mathcal{D}}(\tilde{\mathbf{x}}) \right] $ 로 정의된다.
• 정확한 계산이 불가능한 대규모 모델의 경우, 각 데이터 포인트당 K개의 샘플을 사용해 $ \hat{\hat{\mathcal{U}}}_{\mathcal{D},q}(\theta_I) $ 와 같은 샘플 기반 근사를 적용한다.
• 오토인코더가 BLM 기준의 하한을 최적화한다는 점을 재해석함으로써, 깊이 있는 생성 모델링에서 오토인코더의 사용에 새로운 이론적 근거를 제시한다.
• 생성 모델 $ P_{\theta_I}(\mathbf{x}|\mathbf{h}) $ 는 그대로 유지하면서 추론 모델 $ q(\mathbf{h}|\mathbf{x}) $ 를 강화함으로써 AERIes(풍부한 추론 능력을 갖춘 오토인코더)를 제안한다.
• 하이퍼파ram터 선택 및 모델 평가를 위해 검증 로그우도의 대체 기준으로 BLM 상한을 활용한다.

실험 결과

연구 질문

• RQ1 계층별 훈련이 로그우도의 전역 최적화를 이론적으로 근사할 수 있는가?
• RQ2 데이터에서 잠재 변수로의 추론 모델 복잡도 선택이 깊이 있는 생성 모델의 성능에 어떤 영향을 미치는가?
• RQ3 훈련 중 및 하이퍼파ram터 튜닝 시 향후 성능의 신뢰할 수 있는 근사치로 BLM 상한이 사용될 수 있는가?
• RQ4 생성 모델을 그대로 유지하면서 추론 모델만 강화할 경우, 기존 오토인코더나 스택드 RBM보다 성능이 향상되는가?
• RQ5 깊이 있는 생성 모델의 모델 선택 기준으로 로그우도보다 BLM 상한이 더 나은가?

주요 결과

• BLM 상한을 기반으로 한 계층별 훈련 절차는 온건한 가정 하에 전역 최적화를 증명 가능하게 근사하며, 낙관의 실패 시 공식적인 성능 한계를 제공한다.
• 직접적인 로그우도 추정보다 BLM 상한이 실제 검증 로그우도와 더 높은 상관관계를 보이며, 하이퍼파ram터 선택에 더 우수한 근사 기준이 된다.
• 풍부한 추론 능력을 갖춘 오토인코더(AERIes)는 합성 및 실제 깊이 있는 데이터셋에서 표준 오토인코더와 스택드 RBM을 모두 능가하며, 표현력 있는 추론 모델의 이점을 입증한다.
• 실험 결과, K=1로 샘플링한 BLM 상한이 정확한 상한과 매우 유사하게 일치함을 확인하여 대규모 모델에 대한 근사 방법의 타당성을 검증한다.
• 하위 레이어에서 상위 레이어로의 학습 전이가 성공적으로 이루어지며, BLM 상한이 훈련 전반에 걸쳐 안정적이고 유의미한 기준이 된다.
• 실증 결과는 생성 모델보다 더 풍부한 추론 모델을 사용할 경우 성능 향상이 뚜렷하게 이루어짐을 확인하며, 추론이 생성보다 더 어렵다는 이론적 직관을 뒷받침한다.