[論文レビュー] Statistical hypothesis testing versus machine-learning binary classification: distinctions and guidelines

Jingyi Jessica Li, Xin Tong|arXiv (Cornell University)|Jul 3, 2020

Gene expression and cancer classification参考文献 68被引用数 48

ひとこと要約

この論文は、統計的仮説検定と機械学習におけるバイナリ分類の根本的な違いを明確にし、それぞれが異なる目的——集団レベルの真実を推論することと、インスタンスレベルのラベルを予測すること——を有していることを強調している。研究者が分析目的に応じて適切な手法を選択できるよう、5つの実用的ガイドラインを提示しており、がんのドライバー遺伝子予測の事例を通じて、バイナリ分類が従来の仮説検定よりも発見の正確性に優れることを示している。

ABSTRACT

Making binary decisions is a common data analytical task in scientific research and industrial applications. In data sciences, there are two related but distinct strategies: hypothesis testing and binary classification. In practice, how to choose between these two strategies can be unclear and rather confusing. Here we summarize key distinctions between these two strategies in three aspects and list five practical guidelines for data analysts to choose the appropriate strategy for specific analysis needs. We demonstrate the use of those guidelines in a cancer driver gene prediction example.

研究の動機と目的

• 統計的仮説検定と機械学習におけるバイナリ分類の概念的・手法的違いを明確にすること。
• 両者の応用が重複するにもかかわらず、実務家がそれぞれのアプローチをいつ使用すべきかについて広く混乱している問題に対処すること。
• 分析目的に応じて適切な戦略を選択できるよう、データアナリスト向けの5つの実用的で実行可能なガイドラインを提供すること。
• がんのドライバー遺伝子予測という事例を通じて、これらのガイドラインの実世界での有効性を示すこと。

提案手法

• 著者たちは、データと意思決定の関係、意思決定ルールの構築、評価基準という3つのコアな次元にわたり、仮説検定とバイナリ分類を比較している。
• 各フレームワーク内に、バイナリの問い、バイナリの答え、意思決定ルール、バイナリ意思決定という4つの重要な概念を定義し、それらの異なる役割を明確にしている。
• 論文はがんのドライバー遺伝子予測タスクを用いて、両戦略を実証的に比較しており、交差検証とAUPRCを用いてバイナリ分類の性能を評価している。
• 仮説検定は集団レベルの性質（例：遺伝子発現の差異）を評価するのに対し、バイナリ分類は特徴量から個々のインスタンスのラベル（例：遺伝子がドライバーであるか否か）を予測することを強調している。
• 新しいインスタンスに対する予測が目的である場合、特にトレーニングデータが代表的である場合には、バイナリ分類の使用を提唱している。
• ロジスティック回帰が分類器としても、仮説検定ツールとしても機能できることを示しており、手法の重なりを示している。

実験結果

リサーチクエスチョン

• RQ1 統計的仮説検定と機械学習におけるバイナリ分類の間の主な概念的・手法的違いは何か？
• RQ2 実世界の応用において、データアナリストはいつ仮説検定をバイナリ分類よりも選び、逆にいつバイナリ分類を選ぶべきか？
• RQ3 両者の評価基準と意思決定ルールの構築プロセスには、どのように違いがあるか？
• RQ4 仮説検定の知見は、バイナリ分類器の設計を改善するのに役立つだろうか。逆に、分類器から抽出された特徴量は、仮説検定の対象として役立つだろうか？
• RQ5 ロジスティック回帰のような単一のアルゴリズムが、同時に両者の目的を果たす状況はどのようなものか？

主な発見

• 仮説検定は、集団レベルの性質（例：差異発現）が統計的に有意であるかどうかを評価するのに対し、バイナリ分類は特徴量に基づいて個々のインスタンスのラベル（例：ドライバー遺伝子の有無）を予測する。
• AUPRCで評価されたバイナリ分類は、同じデータセットにおいて従来の仮説検定よりも、のがんドライバー遺伝子の発見においてより高い正確性を示す。
• 本研究は、変異サインターブによって得られるバイナリ分類アプローチが、先行手法よりも高い精度と優れた発見性能を達成していることを示している。
• 仮説検定における意思決定ルールは、検定統計量と有意水準に基づいて導かれるが、バイナリ分類では、ロジスティック回帰やSVMなどのアルゴリズムを用いてトレーニングデータから学習される。
• 両者の間には違いがあるものの、互いに補い合うことができる——例えば、検定統計量が分類器の設計をインspireすることができ、分類器から抽出された特徴量が仮説検定の対象となることがある。
• ロジスティック回帰は、個々の係数に対するWald検定を用いることで、分類アルゴリズムとしても、仮説検定ツールとしても機能する代表的な例である。