[論文レビュー] Null/No Information Rate (NIR): a statistical test to assess if a classification accuracy is significant for a given problem

Manuele Bicego, Antonella Mensi|arXiv (Cornell University)|Jun 9, 2023

Sensor Technology and Measurement Systems被引用数 10

ひとこと要約

この論文は、分類器の精度が情報なし率(NIR)またはランダムベースラインより有意に高いかを判断する一 sided の binomial test を導入し、分類性能を評価する正式な統計的枠組みを提供します。

ABSTRACT

In many research contexts, especially in the biomedical field, after studying and developing a classification system a natural question arises: "Is this accuracy enough high?", or better, "Can we say, with a statistically significant confidence, that our classification system is able to solve the problem"? To answer to this question, we can use the statistical test described in this paper, which is referred in some cases as NIR (No Information Rate or Null Information Rate).

研究の動機と目的

• 分類精度が十分に高いか評価する必要性を動機づける。
• No Information Rate (NIR) と分類タスクにおけるベースラインとしての役割を定義する。
• 観測された精度を NIR（またはランダムベースライン）に対して有意であるかを評価する、二項検定ベースの手順を提示する。
• 生物医療および機械学習の文脈での検定適用に関する実践的ガイダンスと参考文献を提供する。

提案手法

• 分類タスクを、正しく分類された場合に成功とみなす二項実験としてモデル化する。
• ベースラインを定義する: ランダム精度（1/C）と、学習デセットで最も頻繁に現れるクラスに基づくNIR。
• テストセットでの観測精度 acc(C) と正解予測数 t(C) を計算する。
• p をベースラインの成功確率（ p = NIR または p = accRand ）に、 q = 1 − p と設定する。
• 片側p値を計算する: pval = sum_{k=t(C)}^{m} C(m,k) p^k q^{m−k}.
• 必要に応じて両側p値を計算する: pval2 = 2 * sum_{k=t(C)}^{m} C(m,k) p^k q^{m−k}.

実験結果

リサーチクエスチョン

• RQ1 分類器はNIR（またはランダムベースライン）より有意に良い精度を達成しているか？
• RQ2 特定の検証セットサイズに対する観測精度の統計的有意性をどのように定量化できるか？
• RQ3 NIR比較に適した二項検定の正規近似はいつ用いるべきか？
• RQ4 生物医学またはMLの文脈でNIRベースの有意性検定を実装し解釈するにはどうするべきか？

主な発見

• 片側の二項検定は、観測精度がNIR（またはランダムベースライン）を統計的有意性をもって超えるかどうかを評価できる。
• p値は、観測された正解分類数とベースライン確率を用いて二項分布から計算される。
• 任意の差を検定するために、方向性を仮定せずに二尾のp値を利用できる。
• 本手法はR caretエコシステムで実装され、著者によって Matlabコードが提供されている。
• mpq ≥ 5 の場合、関連文献では正規近似が提案されているが、本論文では明示的に評価されていない。
• このアプローチは、分類精度の実用的でデータ駆動型のベースライン比較を提供する。