[論文レビュー] LqRT: Robust Hypothesis Testing of Location Parameters using Lq-Likelihood-Ratio-Type Test in Python

Anton Alyakin, Yichen Qin+1 more|arXiv (Cornell University)|Nov 27, 2019

Advanced Statistical Methods and Models参考文献 18被引用数 5

ひとこと要約

この論文は、Lq-尤度比型検定を用いた場所母数の2標本検定のためのロバストなPythonパッケージLqRTを紹介する。正規性が満たされない状況下でも高い検出力を持ち、t検定、ウィルコクソン検定、符号検定といった従来の検定を上回り、分布仮定が破綻してもLqRTは優れた検出力と適切なサイズを維持する。

ABSTRACT

A t-test is considered a standard procedure for inference on population means and is widely used in scientific discovery. However, as a special case of a likelihood-ratio test, t-test often shows drastic performance degradation due to the deviations from its hard-to-verify distributional assumptions. Alternatively, in this article, we propose a new two-sample Lq-likelihood-ratio-type test (LqRT) along with an easy-to-use Python package for implementation. LqRT preserves high power when the distributional assumption is violated, and maintains the satisfactory performance when the assumption is valid. As numerical studies suggest, LqRT dominates many other robust tests in power, such as Wilcoxon test and sign test, while maintaining a valid size. To the extent that the robustness of the Wilcoxon test (minimum asymptotic relative efficiency (ARE) of the Wilcoxon test vs the t-test is 0.864) suggests that the Wilcoxon test should be the default test of choice (rather than "use Wilcoxon if there is evidence of non-normality", the default position should be "use Wilcoxon unless there is good reason to believe the normality assumption"), the results in this article suggest that the LqRT is potentially the new default go-to test for practitioners.

研究の動機と目的

• 正規性の仮定が満たされない場合や外れ値が存在する状況下でも高い検出力を維持できる場所母数のためのロバストな統計的検定を開発すること。
• 理論的Lq-尤度比型検定（LqRT）を、対応のある・ないを含む実用的な2標本設定（対応あり・対応なし）に拡張すること。
• 研究者らが実世界のデータ解析にLqRTを容易に採用できるように、lqrtパッケージとしてのPython実装を提供すること。
• LqRTがウィルコクソン検定や符号検定といった既存のロバスト検定を、検出力の観点から一貫して上回り、かつ適切なサイズを維持することを示すこと。
• ウィルコクソン検定がt検定の代替として推奨されているのと同様に、LqRTを場所シフト推論の新たな標準的検定として確立すること。

提案手法

• 外れ値への感受性を低減するため、仮定モデル下での観測値の尤度に基づいて重みを割り当てるロバスト推定フレームワーク「Lq尤度」を活用する。
• Lq-尤度比型検定（LqRT）を、場所母数の等値性を検定する2標本推論（対応あり・対応なし）に適応する。
• さまざまな分布的状況下でロバスト性と効率性のバランスを取るために、データ駆動型のチューニングパrameter qの選択法を導入する。
• 有限標本下でのサイズ制御を確実にするために、ブートストラップに基づくp値計算を実装する。
• 既存のデータサイエンスワークフローへのシームレスな統合を可能にするために、APIをSciPyの統計関数（例：ttest_ind, wilcoxon）に類似させる。
• 対応のない2標本検定において、分散が等しい・等しくないの両方の仮定をサポートする。これはスチューデントのt検定とウェルチのt検定に類似している。

実験結果

リサーチクエスチョン

• RQ1 t検定の正規性仮定が満たされない状況下でも、Lq-尤度比型検定は高い統計的検出力を維持できるか？
• RQ2 非正規分布下において、LqRTの検出力とサイズはウィルコクソン符号順位検定および順位和検定と比べてどうか？
• RQ3 LqRTにおけるチューニングパrameter qの最適な選択法は何か？ これは、さまざまなデータ状況下でのロバスト性と効率性のバランスを取るために必要である。
• RQ4 分布仮定が不確実な状況下でも、LqRTはt検定やウィルコクソン検定の代替として標準的になされるべきか？
• RQ5 外れ値や重い尾を持つ分布を有する実世界のデータセット（例：Breast Cancer Wisconsinデータセット）において、LqRTはどのように性能を発揮するか？

主な発見

• LqRTは、さまざまな非正規分布下でウィルコクソン検定や符号検定を検出力の観点から上回り、正規分布下でも性能の低下がない。
• シミュレーションでは、データが正規性から逸脱した場合（特に重い尾や汚染された分布）、LqRTは適切なサイズを維持し、t検定よりも高い検出力を示した。
• 正規分布から得た2つの標本（例：μ=0 対 μ=1）を比較した際、LqRTはp値0.0を達成し、帰無仮説を正しく棄却した。
• 同じ正規分布（μ=0）からの2つの標本を比較した場合、LqRTは対応ありでp値0.66、対応なしでp値0.99/0.97を示し、正しいサイズ制御を確認した。
• Breast Cancer Wisconsinデータセットにおいて、LqRTは全10の特徴量について良性と悪性腫瘍の平均に有意差があることを正しく検出しており、不等分散仮定下でp値が0.0であった。
• パッケージ実装は、1標本、対応あり、対応なしの2標本検定を一貫した構文とパrameter処理でサポートしており、応用研究における広範な利用可能性を実現している。