[논문 리뷰] Wave function representation of probability distributions

Madeleine B. Thompson|arXiv (Cornell University)|2017. 12. 21.

Probabilistic and Robust Engineering Design참고 문헌 10인용 수 3

한 줄 요약

이 논문은 연속적인 단변량 분포의 유연하고 낮은 차원이며 과적합에 강한 모델링을 가능하게 하는 정규직교 에르미트 기저 전개를 사용한 확률 밀도함수의 파동함수 표현을 제안한다. 이 방법은 밀도의 제곱근을 모델링하며, 입체투영을 통한 최대우도추정을 통해 계수를 효율적으로 추정하고, 정확한 모멘트 계산이 가능하며, 튜닝이 필요 없는 피팅과 더불어 커널 밀도 추정보다 꼬리 행동에서 뛰어난 성능을 보인다.

ABSTRACT

Orthogonal decomposition of the square root of a probability density function in the Hermite basis is a useful low-dimensional parameterization of continuous probability distributions over the reals. This representation is formally similar to the representation of quantum mechanical states as wave functions, whose squared modulus is a probability density.

연구 동기 및 목표

• 데이터 분석 시스템에서 사용하기 위한 연속적인 단변량 확률 분포의 저차원적이고도 탄력적이며 강건한 매개변수화 방법을 개발하기 위해.
• 편향, 다중모드, 무거운 꼬리가 있는 데이터를 튜닝 매개변수 없이 일반적이고 자연스럽고 계산 효율적인 분포 가족으로 모델링할 수 있는 방법의 부족을 해결하기 위해.
• 생산 환경의 데이터 분석 플랫폼(EDP)에서 회귀 잔차를 최소한의 맞춤 설정으로 정확하게 모델링하기 위해.
• 정확한 모멘트 계산과 효율적인 샘플링을 지원하는 매개변수화 방법을 제공하여 커널 밀도 추정의 단점을 피하기 위해.
• 이 표현을 조건부 모델 및 다른 영역으로 확장할 잠재력을 탐색하기 위해.

제안 방법

• 정규직교 에르미트 함수의 선형 조합으로 확률 밀도함수의 제곱근을 표현하여, 파동함수 유사한 매개변수화를 가능하게 한다.
• 최대우도추정(MLE)을 통해 계수 $ w_k $ 를 입체투영을 이용해 단위 구면 제약 조건을 제약 없는 공간으로 변환하여 최적화를 수행한다.
• 독립identical한 표본에서 계수를 L-BFGS 최적화를 통해 피팅하며, 로그우도는 $ \gamma $ 의 역입체투영을 통해 표현된다.
• 밀도 추정의 다항식-지수 형태를 활용하여 $ O(K) $ 연산 내에서 가우스-에르미트 적분을 사용해 정확한 모멘트를 계산한다.
• 일변량 슬라이스 샘플러를 사용해 추정된 밀도에서 샘플링을 수행하며, 효율성을 향상시키기 위해 향후 적응형 거부 메트로폴리스 샘플링(ARMS)으로 전환할 계획이다.
• 표현의 안정성과 샘플링에서 고정된 초기 슬라이스 너비를 확보하기 위해 입력 데이터를 평균 0, 분산 1/2로 정규화한다.

실험 결과

연구 질문

• RQ1 에르미트 기반 파동함수 표현이 임의의 연속적인 단변량 확률 분포에 대해 저차원적이고도 탄력적이며 과적합에 강한 매개변수화를 제공할 수 있는가?
• RQ2 이 방법이 스튜던트의 t, 균일, 베타 분포와 같은 편향, 다중모드, 무거운 꼬리가 있는 분포를 얼마나 잘 모델링할 수 있는가?
• RQ3 꼬리 행동, 계산 효율성, 튜닝 매개변수의 부재 측면에서 파동함수 표현이 커널 밀도 추정보다 뛰어난가?
• RQ4 입체투영을 사용해 단위 구면 제약 조건을 다룰 수 있도록 계수의 최대우도추정이 효율적이고 안정적으로 계산될 수 있는가?
• RQ5 계수들이 예측변수에 따라 달라지는 조건부 모델, 즉 이종분산 회귀에서 이 방법을 얼마나 넓게 확장할 수 있는가?

주요 결과

• 파동함수 표현은 스튜던트의 t 분포(자유도 4), 이중모드 혼합분포, 편향이 있는 베타(3,5) 분포를 포함한 다양한 분포를 최소한의 과적합으로 정확하게 모델링한다.
• 균일 분포와 같은 도전적인 분포에 대해서도 좋은 피팅 성능을 보이며, 비연속성 지점에서는 기브스 현상이 나타나지만, 부동소수점 오차로 인해 최대 차수는 약 20까지 제한된다.
• 작은 표본 크기(예: n=2)에서도 계수의 최대우도추정이 신뢰성 있게 수렴하며, 실무에서 L-BFGS 최적화가 잘 작동한다.
• 가우스-에르미트 적분을 사용해 $ O(K) $ 연산 내에서 정확한 모멘트 계산이 가능하여 높은 정확도와 효율성을 제공한다.
• 추정된 밀도 $ \hat{f}(x) $ 는 잘 조율된 꼬리를 가지며 효율적인 샘플링이 가능하다. EDP는 일변량 슬라이스 샘플러를 사용하며, 향후 속도 향상을 위해 ARMS로 전환할 계획이다.
• 이 표현은 모델 복잡성에 대해 강건하다: 차수 $ K $ 를 늘일수록 다중모드 및 비연속 밀도에 대해 피팅 성능이 향상되지만, 수치 정밀도의 한계로 수렴이 제한된다.