[論文レビュー] Methods to integrate multinormals and compute classification measures

Abhranil Das, Wilson S. Geisler|arXiv (Cornell University)|Dec 23, 2020

Bayesian Methods and Mixture Models参考文献 21被引用数 50

ひとこと要約

本論文は、多変量正規分布を任意の領域で積分するための数学的方法とオープンソースソフトウェアを開発し、Bayes最適分類器および他の分類器の性能を評価するための分類指標を計算する。

ABSTRACT

Univariate and multivariate normal probability distributions are widely used when modeling decisions under uncertainty. Computing the performance of such models requires integrating these distributions over specific domains, which can vary widely across models. Besides some special cases, there exist no general analytical expressions, standard numerical methods or software for these integrals. Here we present mathematical results and open-source software that provide (i) the probability in any domain of a normal in any dimensions with any parameters, (ii) the probability density, cumulative distribution, and inverse cumulative distribution of any function of a normal vector, (iii) the classification errors among any number of normal distributions, the Bayes-optimal discriminability index and relation to the operating characteristic, (iv) ways to scale the discriminability of two distributions, (v) dimension reduction and visualizations for such problems, and (vi) tests for how reliably these methods may be used on given data. We demonstrate these tools with vision research applications of detecting occluding objects in natural scenes, and detecting camouflage.

研究の動機と目的

• 正規分布を用いる際に、不確実性の下でモデルの性能を評価する必要性を動機づける。
• 任意の領域に対して正規分布を積分し、正規ベクトルの関数を扱う一般的な数学的枠組みを提示する。
• 複雑な領域における正規分布とそれらの二次形式に対して、確率、確率密度関数、累積分布関数、および逆累積分布関数を計算するアルゴリズムとソフトウェアを開発する。
• 複数の正規分布間の分類におけるBayes最適決定規則を導出し、d'のような識別度指標と関連づける。

提案手法

• 2乗領域上で多変量正規分布を積分し二乗形式の分布を導く一般化カイ二乗法。
• 任意の領域に対して正規分布を積分するレイ・トレース法。球座標へ標準化し、レイに沿って境界の交差を追跡して積分する。
• 正規ベクトルの任意の関数の確率密度関数、累積分布関数、および逆累積分布関数の計算を、関数確率写像を介して行う。
• 2つ以上の正規クラスに対するBayes最適分類規則の導出と、誤分類率を一般化カイ二乗分布で表現する。
• 高次元正規積分の次元削減と可視化技術。
• Matlabツoolbox『Integrate and classify normal distributions』としてのソフトウェア実装、GitHubにソースが公開。

実験結果

リサーチクエスチョン

• RQ1 任意の次元で、任意の平均と共分散を持つ正規分布を任意の領域上でどう積分できるか？
• RQ2 正規ベクトルの任意の関数の分布（確率密度関数、累積分布関数、逆累積分布関数）をどう計算するか？
• RQ3 事前確率とコスト構造のもとで、任意数の正規分布を識別する際の分類性能をどう定量化するか？
• RQ4 高次元の正規積分問題を効率的に次元削減し、可視化するにはどのような方法があるか？
• RQ5 代表的な問題で、一般化カイ二乗法とレイ・トレース法がどれくらい正確で高速か？

主な発見

• 本論文は、任意の二次領域およびより一般的な領域における正規ベクトルの確率を計算する方法を提供する。
• 一般化カイ二乗法は確率に対して一次元積分をもたらし、複雑な二次式の実用的な計算を可能にする。
• レイ・トレース法は半径方向の交差を追跡し、レイごとに確率を合計することで任意の領域での積分を可能にする。
• 2つの正規分布のためのBayes最適識別境界が二次形式として導出され、誤分類率の計算を可能にする。
• 著者らは、視覚科学の複数の応用問題（物体の遮蔽やカモフラージュ検出を含む）において、両手法の精度と速度を示している。
• この研究は実用的なオープンソース Matlab ツールボックスと GitHub のソースコードを提供している。