[논문 리뷰] Learning Continuous Distributions: Simulations With Field Theoretic Priors

Ilya Nemenman, William Bialek|arXiv (Cornell University)|2000. 01. 01.

Gaussian Processes and Bayesian Inference참고 문헌 6인용 수 1

한 줄 요약

이 논문은 양자장 이론 원리에 기반한 장 이론적 사전분포를 제안하여 무한차원 함수 공간에서 부드러움을 정규화하는 비모수 밀도 추정 방법을 개발한다. 데이터로부터 부드러움 척도를 자가일관적으로 결정함으로써 사전분포 선택에 대한 민감도를 감소시키고, 소규모 데이터셋에서도 강건한 추정을 가능하게 한다.

ABSTRACT

Learning of a smooth but nonparametric probability density can be regularized using methods of Quantum Field Theory. We implement a field theoretic prior numerically, test its efficacy, and show that the free parameter of the theory (‘smoothness scale’) can be determined self consistently by the data; this forms an infinite dimensional generalization of the MDL principle. Finally, we study the implications of one’s choice of the prior and the parameterization and conclude that the smoothness scale determination makes density estimation very weakly sensitive to the choice of the prior, and that even wrong choices can be advantageous for small data sets. One of the central problems in learning is to balance ‘goodness of fit ’ criteria against the complexity of models. An important development in the Bayesian approach was thus the realization that there does not need to be any extra penalty for model complexity: if we compute the total probability that data are generated by a model, there is a factor from the

연구 동기 및 목표

• 양자장 이론에 영감을 받은 사전분포를 사용하여 부드러운 확률밀도를 학습하는 비모수 베이지안 방법을 개발한다.
• 임의의 수의 차원을 가진 공간에서 수반된 페널티 없이 모델 복잡도를 정규화한다.
• 부드러움 척도 파라미터를 데이터로부터 자가일관적으로 결정함으로써 MDL 원칙을 일반화한다.
• 밀도 추정이 사전분포 선택과 매개변수화에 얼마나 민감한지 조사한다.
• 사전분포가 잘못 지정된 경우에도 소규모 데이터셋에서의 강건성과 성능을 평가한다.

제안 방법

• 비모수 밀도 추정에서 부드러움을 강제하기 위해 수치적으로 장 이론적 사전분포를 구현한다.
• 양자장 이론의 기능적 적분 기법을 사용하여 연속 분포 위의 사전분포를 정의한다.
• 관측된 데이터를 바탕으로 밀도 위의 사후분포를 계산하기 위해 베이지안 추론을 적용한다.
• 자기일관적으로 우도 최대화를 통해 결정되는 자유 매개변수(부드러움 척도)를 도입한다.
• 장 이론적 프레임워크를 통해 무한차원 모델에 대한 최소 기술 길이(MDL) 원칙을 일반화한다.
• 수치 시뮬레이션을 통해 방법의 유효성을 검증하고, 사전분포 및 매개변수화 선택의 영향을 분석한다.

실험 결과

연구 질문

• RQ1 장 이론적 사전분포는 무한차원 함수 공간에서 비모수 밀도 추정을 효과적으로 정규화할 수 있는가?
• RQ2 결과로 도출된 밀도 추정은 사전분포 선택과 매개변수화에 얼마나 민감한가?
• RQ3 부드러움 척도는 데이터로부터 자가일관적으로 결정될 수 있는가? 즉, 수동 조정이 필요 없는가?
• RQ4 사전분포가 잘못 지정된 경우에도 특히 소규모 데이터셋에서 강건한 성능을 유지하는가?
• RQ5 자기조절 부드러움 척도가 사전 가정에 대한 의존도를 어느 정도 감소시키는가?

주요 결과

• 부드러움 척도 파라미터가 데이터로부터 성공적으로 자가일관적으로 결정되어 외부 조정이 필요 없어졌다.
• 자기조절 메커니즋试로 인해 밀도 추정이 사전분포 선택에 매우 약한 민감도를 보였다.
• 잘못 지정된 사전분포라도 소규모 데이터셋에서는 유리한 결과를 도출할 수 있어, 사전분포 잘못 지정에 대한 강건성이 확인되었다.
• 장 이론적 정규화를 통해 MDL 원칙이 무한차원 모델로 일반화되었다.
• 수치 시뮬레이션을 통해 부드럽고 비모수적인 밀도를 학습하는 데에 이 방법의 효용성이 확인되었다.
• 장 이론적 사전분포는 추가 페널티 항 없이 모델 복잡도와 데이터 적합도를 효과적으로 균형 잡는 데 기여했다.