[논문 리뷰] In All Likelihood, Deep Belief Is Not Enough

Lucas Theis, Sebastian Gerwinn외 2명|arXiv (Cornell University)|2010. 11. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 49인용 수 28

한 줄 요약

이 논문은 깊이 있는 신뢰망(DBNs)의 우도에 대한 계산적으로 타당하고 일致된 추정기(_estimator)를 제안하며, 자연 이미지 조각을 모델링하는 데 있어 그 성능을 정량적으로 평가할 수 있도록 한다. 이 추정기를 사용하여, 이전에는 생물학적으로 타당하고 효과적이라 여겨졌던 DBN 모델이 실제로는 가우시안 혼합모형과 같은 간단한 모델들보다 성능이 열 劣함을 입증한다. 심지어 최적의 학습 조건에서도 깊이를 더해도 성능 향상이 거의 없음을 확인한다.

ABSTRACT

Statistical models of natural stimuli provide an important tool for researchers in the fields of machine learning and computational neuroscience. A canonical way to quantitatively assess and compare the performance of statistical models is given by the likelihood. One class of statistical models which has recently gained increasing popularity and has been applied to a variety of complex data are deep belief networks. Analyses of these models, however, have been typically limited to qualitative analyses based on samples due to the computationally intractable nature of the model likelihood. Motivated by these circumstances, the present article provides a consistent estimator for the likelihood that is both computationally tractable and simple to apply in practice. Using this estimator, a deep belief network which has been suggested for the modeling of natural image patches is quantitatively investigated and compared to other models of natural image patches. Contrary to earlier claims based on qualitative results, the results presented in this article provide evidence that the model under investigation is not a particularly good model for natural images

연구 동기 및 목표

• 깊이 있는 신뢰망(DBNs)에서 우도 계산이 비가역적이라는 오랜 도전 과제를 해결함으로써 정량적 모델 평가를 가능하게 하기.
• DBN 우도에 대한 일致적이고 계산적으로 실현 가능한 추정기를 제공하여 다른 통계 모델과의 직접적 비교를 가능하게 하기.
• 제안된 우도 추정기를 사용하여 자연 이미지 조각에 대해 학습된 DBN의 성능을 경험적으로 평가하기.
• DBN의 깊이를 늘릴수록 얕은 모델 대비 조밀도 추정 성능이 실제로 유의미하게 향상되는지 조사하기.
• 정성적 샘플 분석을 바탕으로 DBN이 자연 이미지 통계를 모델링하는 데 뛰어나다고 여겨지는 관행적 가정을 도전하기.

제안 방법

• 분할 함수와 주변 분포를 근사하기 위해 안네일드 중요도 샘플링(AIS)을 사용하여 DBNs에 대한 일치 우도 추정기를 개발한다.
• 추정 정확도 향상을 위해 1,000개의 중간 안네일링 분포와 선형 스케줄을 적용한다.
• 학습 및 평가 중 근사 샘플링을 위해 게이블스 샘플링과 평균 필드 업데이트를 사용한다.
• 학습 안정화를 위해 학습률과 가중치 감쇠에 선형 안네일링 스케줄을 적용한다.
• GRBM의 가시 뉴런 공분산을 σI로 고정하고, σ는 교차 검증을 통해 최적화한다.
• AIS를 사용하여 계층별로 분할 함수와 주변 분포를 순차적으로 추정함으로써 전체 DBN의 우도를 평가한다.

실험 결과

연구 질문

• RQ1 깊이 있는 신뢰망 모델이 가우시안 혼합모형과 같은 더 단순한 모델들보다 자연 이미지 조각에 대한 조밀도 추정 성능이 뛰어나게 되는가?
• RQ2 각 계층을 최적의 조건에서 학습했을 때, DBN의 깊이를 늘릴수록 그 우도 성능은 어떻게 변화하는가?
• RQ3 그리드 계층별 사전 학습 절차가 조밀도 추정 성능에 얼마나 큰 제약을 끼치는가?
• RQ4 DBN에 대해 일관되고 계산적으로 실현 가능한 우도 추정기를 개발할 수 있는가?
• RQ5 정성적 샘플 분석에서 DBN 샘플이 자연 이미지 통계를 잘 모방한다는 것이 실제로 통계적 적합성의 충분한 증거가 되는가?

주요 결과

• 조사된 깊이 있는 신뢰망 모델은 우도 측면에서 단순한 가우시안 혼합모형보다 유의미하게 열 劣하며, 구성 요소당 약 2.3비트의 로그 손실을 기록한다.
• 최적의 학습 조건에서도 계층을 더 추가해도 우도 성능 향상이 거의 없어 깊이에 따른 수익 감소 현상이 나타남을 확인한다.
• 두 번째 계층에 대해 100,000개의 샘플, 세 번째 계층에 대해 1,000개의 샘플을 사용한 AIS 기반 우도 추정기조차 낙관적인 추정치를 제공함으로써 평가의 고분산 문제를 드러낸다.
• GRBM 구성 요소는 더 많은 은닉 뉴런과 더 작은 분산을 가질수록 계속 향상되므로, 더 큰 아키텍처로의 확장 여지가 있음을 시사한다.
• 이전에 성공의 증거로 언급된 모델의 자연 이미지와의 정성적 유사성은 우도 측정 기준에서는 뛰어난 통계적 성능로 이어지지 않는다.
• 결과적으로 깊이 있는 신뢰망이 자연 이미지 통계를 모델링하는 데 본질적으로 더 낫다는 가정을 도전하며, 조밀도 추정에 있어 더 단순한 모델들이 더 효과적일 수 있음을 시사한다.