[논문 리뷰] Semi-analytical approximations to statistical moments of sigmoid and softmax mappings of normal variables

Jean Daunizeau|arXiv (Cornell University)|2017. 02. 28.

Statistical Methods and Bayesian Inference인용 수 22

한 줄 요약

이 논문은 정규 랜덤 변수에 적용된 시그모이드 및 소프트맥스 변환의 통계적 모멘트를 위한 반분석적 근사치를 제시한다. 분석적 형태와 수치 최적화된 파라미터를 조합함으로써, 정확도가 매우 높고 오차가 5% 이내인 결과를 도출하며, 확률적 의사결정 및 클러스터링을 포함한 모델에서 정확하지만 비가역적인 유도 과정에 대한 계산적으로 효율적인 대안을 제공한다.

ABSTRACT

This note is concerned with accurate and computationally efficient approximations of moments of Gaussian random variables passed through sigmoid or softmax mappings. These approximations are semi-analytical (i.e. they involve the numerical adjustment of parametric forms) and highly accurate (they yield 5% error at most). We also highlight a few niche applications of these approximations, which arise in the context of, e.g., drift-diffusion models of decision making or non-parametric data clustering approaches. We provide these as examples of efficient alternatives to more tedious derivations that would be needed if one was to approach the underlying mathematical issues in a more formal way. We hope that this technical note will be helpful to modellers facing similar mathematical issues, although maybe stemming from different academic prospects.

연구 동기 및 목표

• 정규 분포 랜덤 변수에 적용된 시그모이드 및 소프트맥스 함수의 통계적 모멘트를 정확하고 계산적으로 효율적인 근사치로 개발하기.
• 확률 모델에서 가우시안 변수의 비선형 변환에 대한 정확한 모멘트 유도가 수학적으로 비가역적인 문제를 해결하기.
• 비용이 많이 드는 몬테카를로 시뮬레이션을 피하고자 하는 머신러닝 및 신경과학 분야의 연구자들이 모멘트 추정치가 필요한 실용적 도구를 제공하기.
• 드리프트-디퓨전 모델의 의사결정 및 비모수적 클러스터링과 같은 특수한 응용 분야에서의 유용성을 입증하기.
• 일반적으로 어렵고 실용적으로 다시 유도하기 어려운 공식적 유도의 대안으로서, 기술적으로 타당하면서도 접근하기 쉬운 방법 제공하기.

제안 방법

• 시그모이드 및 소프트맥스 함수의 분석적 근사치로부터 유도된 파rametric 형태를 사용하는 접근 방식.
• 수치 최적화를 통해 몬테카를로 샘플링을 통한 정확한 모멘트와 일치하도록 이러한 형태의 파라미터를 피팅한다.
• 가우시안 분포의 알려진 성질과 시그모이드/소프트맥스 맵핑의 비선형성을 활용한다.
• 변환된 변수의 1차 및 2차 모멘트(평균 및 분산) 근사를 중점으로 한다.
• 결과로 도출된 근사치는 순수 분석적이지도, 전적으로 수치적인 것도 아니지만 정확도와 속도를 균형 잡은 하이브리드 형태이다.
• 고정밀 수치 적분 또는 시뮬레이션을 통해 확보한 기준 값과의 비교를 통해 프레임워크의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 정규 분포 변수에 시그모이드 변환를 가한 경우, 첫 번째 및 두 번째 모멘트를 높은 정확도와 낮은 계산 비용으로 어떻게 근사할 수 있는가?
• RQ2 다변량 정규 변수에 대한 소프트맥스 변환에 대해 반분석적 근사치의 성능은 어떠한가?
• RQ3 이러한 근사치가 정확한 방법이나 시뮬레이션 기반 방법에 비해 실질적인 모델링 맥락에서 어떤 이점을 제공하는가?
• RQ4 기본 정규 분포의 파라미터 변화에 대해 이러한 근사치는 얼마나 민감한가?
• RQ5 드리프트-디퓨전 모델이나 비모수적 클러스터링 알고리즘과 같은 복잡한 모델에서 이러한 근사치를 신뢰성 있게 사용할 수 있는가?

주요 결과

• 제안된 반분석적 근사치는 다양한 파라미터 값 범위에서 최대 오차가 5% 미만임.
• 정확도를 유지하면서도 몬테카를로 샘플링에 비해 뚜렷한 계산적 이점 제공.
• 입력 정규 변수의 평균 및 분산에 관계없이 근사치가 강건함.
• 의사결정 임계치를 모델링하는 데 시그모이드 변환이 사용되는 드리프트-디퓨전 모델에 직접 적용 가능.
• 소프트맥스 정규화에 의존하는 비모수적 클러스터링 접근법에서 효율적인 모멘트 추정을 가능하게 함.
• 수치 피팅 절차를 통해 기호적 유도 없이도 파라미터 형식이 진짜 모멘트와 매우 가까이 일치함.