[논문 리뷰] Methods to integrate multinormals and compute classification measures

Abhranil Das, Wilson S. Geisler|arXiv (Cornell University)|2020. 12. 23.

Bayesian Methods and Mixture Models참고 문헌 21인용 수 50

한 줄 요약

본 논문은 임의의 영역에 대해 다변정규분포를 적분하는 수학적 방법과 오픈 소스 소프트웨어를 개발하고, 베이즈 최적 및 기타 분류기용 분류 척도를 계산한다.

ABSTRACT

Univariate and multivariate normal probability distributions are widely used when modeling decisions under uncertainty. Computing the performance of such models requires integrating these distributions over specific domains, which can vary widely across models. Besides some special cases, there exist no general analytical expressions, standard numerical methods or software for these integrals. Here we present mathematical results and open-source software that provide (i) the probability in any domain of a normal in any dimensions with any parameters, (ii) the probability density, cumulative distribution, and inverse cumulative distribution of any function of a normal vector, (iii) the classification errors among any number of normal distributions, the Bayes-optimal discriminability index and relation to the operating characteristic, (iv) ways to scale the discriminability of two distributions, (v) dimension reduction and visualizations for such problems, and (vi) tests for how reliably these methods may be used on given data. We demonstrate these tools with vision research applications of detecting occluding objects in natural scenes, and detecting camouflage.

연구 동기 및 목표

• 정규분포를 사용할 때 불확실성 하에서 모델의 성능을 계산해야 할 필요성을 제시한다.
• 임의의 영역에서 정규분포를 적분하고 정규 벡터의 함수들을 다루기 위한 일반적인 수학적 프레임워크를 제시한다.
• 복잡한 영역에서의 정규벡터 및 이들의 이차형식에 대한 확률, 확률밀도함수(pdf), 누적분포함수(cdf) 및 역 cdf를 계산하는 알고리즘과 소프트웨어를 개발한다.
• 여러 개의 정규분포 간 분류를 위한 베이즈 최적 의사결정 규칙을 도출하고 d'와 같은 구별가능도 지표와의 관계를 밝힌다.

제안 방법

• 일반화된 카이제곱 방법을 사용하여 이차 영역에서 다변정규분포를 적분하고 이차형식의 분포를 도출한다.
• 구면좌표로 표준화하고 광선(rays)을 따라 경계 교차를 추적하여 모든 영역에서 정규분포를 적분하는 레이 트레이스 방법.
• 정규 벡터의 임의 함수에 대한 pdf, cdf 및 역 cdf를 함수-확률 매핑을 통해 계산한다.
• 두 개 이상의 정규 클래스에 대한 베이즈 최적 분류 규칙을 도출하고 오류율을 일반화된 카이제곱 분포를 이용해 표현한다.
• 고차원 정규 적분에 대한 차원 축소 및 시각화 기법.
• 소프트웨어 구현은 Matlab 도구상자 ‘Integrate and classify normal distributions’로 GitHub의 소스 코드에 있다.

실험 결과

연구 질문

• RQ1 임의의 평균과 공분산을 가진 정규분포를 어떻게 임의의 차원에서 임의의 영역에 대해 적분할 수 있는가?
• RQ2 정규 벡터의 임의 함수에 대한 분포(pdf, cdf, 역cdf)를 어떻게 계산할 수 있는가?
• RQ3 주어진 사전 확률 및 비용 구조 하에서 임의의 수의 정규분포를 구분할 때 분류 성능을 어떻게 정량화할 수 있는가?
• RQ4 고차원 정규 적분 문제를 효과적으로 차원 축소하고 시각화하는 방법은 무엇인가?
• RQ5 대표적인 문제들에서 일반화된 카이제곱 방법과 레이 트레이스 방법의 정확도와 속도는 어느 정도인가?

주요 결과

• 본 논문은 임의의 이차 영역 및 보다 일반적인 영역에서 정규 벡터의 확률을 계산하는 방법을 제공한다.
• 일반화된 카이제곱 방법은 확률에 대해 1차원 적분을 산출하여 복잡한 이차식을 실용적으로 계산하게 한다.
• 레이 트레이스 방법은 반경 방향 교차를 추적하고 광선들 간의 확률을 합산하여 어떤 영역에서든 적분을 가능하게 한다.
• 두 정규에 대한 베이즈 최적 판별 경계가 이차식으로 도출되어 오류율 계산이 가능하다.
• 저자들은 물체 가림 및 위장 탐지 등 시각과학의 여러 실제 문제에서 두 방법의 정확도와 속도를 시연한다.
• 이 연구는 실용적인 사용을 위한 오픈 소스 Matlab 도구상자 및 GitHub 소스 코드를 제공한다.