[논문 리뷰] A Neural Bayesian Estimator for Conditional Probability Densities

Michael Feindt|ArXiv.org|2004. 02. 18.

Machine Learning and Algorithms참고 문헌 24인용 수 78

한 줄 요약

이 논문은 이산화된 분위수 임계값에 대해 이진 분류 작업을 수행하는 피드포워드 네트워크를 훈련시켜 시뮬레이션 또는 역사적 데이터로부터 조건부 확률 밀도 f(t|x)를 학습하는 신경망 베이지안 추정기 방법을 제안한다. B-spline 스무딩과 베이지안 정규화를 적용하여 전체 확률 분포의 강건하고 비모수적 추정을 가능하게 하며, 고에너지 물리학 및 금융 분야와 같은 복잡하고 약한 상관관계를 가지는 문제에서 이벤트별 불확실성 정량화와 최적의 통계적 추론을 가능하게 한다.

ABSTRACT

This article describes a robust algorithm to estimate a conditional probability density f(t|x) as a non-parametric smooth regression function. It is based on a neural network and the Bayesian interpretation of the network output as a posteriori probabability. The network is trained using example events from history or simulation, which define the underlying probability density f(t,x). Once trained, the network is applied on new, unknown examples x, for which it can predict the probability distribution of the target variable t. Event-by-event knowledge of the smooth function f(t|x) can be very useful, e.g. in maximum likelihood fits or for forecasting tasks. No assumptions are necessary about the distribution, and non-Gaussian tails are accounted for automatically. Important quantities like median, mean value, left and right standard deviations, moments and expectation values of any function of t are readily derived from it. The algorithm can be considered as an event-by-event unfolding and leads to statistically optimal reconstruction. The largest benefit of the method lies in complicated problems, when the measurements x are only relatively weakly correlated to the output t. As to assure optimal generalisation features and to avoid overfitting, the networks are regularised by extended versions of weight decay. The regularisation parameters are determined during the online-learning of the network by relations obtained from Bayesian statistics. Some toy Monte Carlo tests and first real application examples from high-energy physics and econometry are discussed.

연구 동기 및 목표

• 모수적 형태나 정규성 가정 없이도 강건하고 비모수적인 조건부 확률 밀도 f(t|x) 추정 방법을 개발하기.
• 기존의 회귀 분석이 전체 불확실성을 포착하지 못하는 고차원 입력 공간에서의 약한 상관관계를 가지는 측정 문제에 도전하기.
• 점 추정치가 아닌 목표 변수 t의 전체 분포를 입력 x에 대해 추정함으로써 이벤트별로 분해 가능하게 하기.
• 측정 정밀도가 증가함에 따라 가중치를 낮출 수 있도록 포함 분포 f(t)를 사전 지식으로 통합하기.
• 최대우도 적합 및 옵션 가격 설정과 같은 후속 작업에 적합한 통계적으로 최적의 미분 가능 추정기 제공하기.

제안 방법

• 목표 변수 t의 이산화된 분위수를 기반으로 백프로파게이션을 사용해 피드포워드 신경망을 훈련시키며, 각 출력 노드는 t가 특정 임계값을 초과하는지에 대한 이진 분류 문제를 해결한다.
• 네트워크 출력을 베이지안 사후 확률로 해석할 수 있도록 대칭적인 시그모이드 전이 함수를 적용하여 t가 각 임계값을 초과할 확률을 추정한다.
• 필터링된 출력을 기반으로 삼차 B-spline을 적합시키며, 극단에서 -1과 1을 통과하도록 제약을 둬 누적 분포 함수 F(t|x)를 재구성한다.
• 스플라인의 세 번째 도함수에 Tikhonov 유형 정규화를 적용하여 매끄러움을 확보하고 과적합을 방지한다.
• 베이지안 통계를 활용해 훈련 중에 정규화 파rameter를 온라인으로 결정하고 업데이트함으로써 자동으로 데이터 기반의 일반화 제어를 가능하게 한다.
• 부드러운 누적 분포 함수의 도함수로 확률 밀도 함수 f(t|x)를 유도하며, 모멘트, 분위수, 중앙값을 직접 추출한다.

실험 결과

연구 질문

• RQ1 모수적 가정 없이도 신경망을 체계적으로 훈련시켜 전체 조건부 확률 밀도 f(t|x)를 추정할 수 있는가?
• RQ2 연속 결과에 대해 유효한 사후 확률을 생성하기 위해 베이지안 원리를 신경망에 통합할 수 있는가?
• RQ3 베이지안 추론을 통한 정규화가 고차원이고 약한 상관관계를 가지는 회귀 문제에서 일반화 성능을 향상시킬 수 있는가?
• RQ4 이 방법이 복잡한 물리적 또는 금융 시스템에서 불확실성 추정에 있어 기존의 회귀나 분류 기법보다 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 이 방법은 입자물리학 측정이나 금융 옵션 가격 설정과 같은 실제 응용 분야에서 신뢰성 있게 적용될 수 있는가?

주요 결과

• 이 방법은 토이 몬테카를로 시뮬레이션과 고에너지 물리학 및 금융 분야의 실제 응용에 대해 모두 전체 조건부 확률 밀도 f(t|x)를 성공적으로 추정하였다.
• 고에너지 물리학 분야에서는 B+ 및 B0 메손의 수명 측정을 정밀하게 수행하고, 스펙트로스코피를 통해 B_S^{**} 메손의 발견을 가능하게 하였다.
• 금융 응용 분야에서는 다우존스 지수 데이터 20년 분량을 기반으로 훈련한 결과, 추정된 값과 실제 10일 수익률 간에 명확한 상관관계가 나타나, 유의미한 예측 능력을 보였다.
• 주식 가격 변화에 대한 추정된 조건부 밀도를 통해 일일 단위로 '상승' 또는 '하락' 추세를 정량화할 수 있었으며, 이는 거래 의사결정의 시점 조절에 유리하였다.
• 정확도가 떨어지는 입력 조건에서도 훈련 범위를 초월한 물리적으로 의미 없는 외삽을 피하는 등 강건성을 입증하였다.
• 이 연구에서 유래한 NeuroBayes® 구현체는 보험 및 은행 분야의 응용에 성공적으로 도입되어 실제 적용 가능성도 확인되었다.