[论文解读] LqRT: Robust Hypothesis Testing of Location Parameters using Lq-Likelihood-Ratio-Type Test in Python

Anton Alyakin, Yichen Qin+1 more|arXiv (Cornell University)|Nov 27, 2019

Advanced Statistical Methods and Models参考文献 18被引用 5

一句话总结

本文介紹了 LqRT，一個用於兩樣本位置參數假設檢驗的穩健 Python 套件，採用 Lq-似然比型檢驗。即使在違反常態性假設時，LqRT 仍保持高檢力，且優於傳統檢驗（如 t 檢驗、Wilcoxon 檢驗與符號檢驗），在分布假設不成立時亦展現出更佳的檢力與正確的大小控制。

ABSTRACT

A t-test is considered a standard procedure for inference on population means and is widely used in scientific discovery. However, as a special case of a likelihood-ratio test, t-test often shows drastic performance degradation due to the deviations from its hard-to-verify distributional assumptions. Alternatively, in this article, we propose a new two-sample Lq-likelihood-ratio-type test (LqRT) along with an easy-to-use Python package for implementation. LqRT preserves high power when the distributional assumption is violated, and maintains the satisfactory performance when the assumption is valid. As numerical studies suggest, LqRT dominates many other robust tests in power, such as Wilcoxon test and sign test, while maintaining a valid size. To the extent that the robustness of the Wilcoxon test (minimum asymptotic relative efficiency (ARE) of the Wilcoxon test vs the t-test is 0.864) suggests that the Wilcoxon test should be the default test of choice (rather than "use Wilcoxon if there is evidence of non-normality", the default position should be "use Wilcoxon unless there is good reason to believe the normality assumption"), the results in this article suggest that the LqRT is potentially the new default go-to test for practitioners.

研究动机与目标

• 開發一種穩健的統計檢驗方法，用於位置參數檢驗，即使在分布偏離（如非常態性與異常值）時亦能保持高檢力。
• 將理論上的 Lq-似然比型檢驗（LqRT）延伸至實際的兩樣本情境，包含獨立與配對設計。
• 提供一個易於使用、可及的 Python 實作（透過 lqrt 套件），讓實務工作者能將 LqRT 應用於真實世界資料分析。
• 證明 LqRT 在檢力方面全面優於現有的穩健檢驗（如 Wilcoxon 檢驗與符號檢驗），同時維持正確的大小控制。
• 建立 LqRT 為位置移位推論的潛在新標準檢驗方法，類似於建議使用 Wilcoxon 檢驗取代 t 檢驗的做法。

提出的方法

• 利用 Lq-似然，一種穩健估計框架，根據觀測值在假設模型下的似然值賦予權重，從而降低對異常值的敏感度。
• 將 Lq-似然比型檢驗（LqRT）適用于兩樣本推論，包含獨立與配對設計，用於檢驗位置參數相等性。
• 提出一種資料驅動的方法來選擇調節參數 q，以在不同分佈情境下平衡穩健性與效率。
• 使用自助法（bootstrap）計算 p 值，以確保在小樣本下具備精確的大小控制。
• 設計套件的 API 時，使其與 SciPy 的統計函數（如 ttest_ind、wilcoxon）保持一致，以實現與既有資料科學工作流程的無縫整合。
• 支援兩樣本獨立檢驗中的等變異數與不等變異數假設，類似於 Student's t 檢驗與 Welch's t 檢驗。

实验结果

研究问题

• RQ1 當 t 檢驗的常態性假設被違反時，Lq-似然比型檢驗是否仍能維持高統計檢力？
• RQ2 在非常態分佈下，LqRT 的效能與 Wilcoxon 符號秩檢驗及秩和檢驗相比，在檢力與大小控制方面表現如何？
• RQ3 在 LqRT 中，應如何選擇調節參數 q，以在多樣化的資料條件下平衡穩健性與效率？
• RQ4 LqRT 是否可作為 t 檢驗與 Wilcoxon 檢驗在實際資料分析中的預設替代方案，特別是在分佈假設不確定時？
• RQ5 在具有潛在異常值或重尾分佈的真實資料集（如 Breast Cancer Wisconsin 資料集）上，LqRT 的表現如何？

主要发现

• 在多種非常態分佈下，LqRT 在檢力上全面優於 Wilcoxon 檢驗與符號檢驗，且在常態分佈下亦無性能損失。
• 模擬結果顯示，當資料違反常態性時，LqRT 維持正確的大小控制，且檢力高於 t 檢驗，特別是在重尾或受污染的分佈下。
• 在比較常態分佈下均值不同的樣本時（例如 μ=0 對 μ=1），LqRT 的 p 值為 0.0，正確拒絕虛無假設。
• 當檢驗來自同一常態分佈（μ=0）的兩組樣本時，LqRT 產生的 p 值為 0.66（配對）與 0.99/0.97（獨立），確認大小控制正確。
• 在 Breast Cancer Wisconsin 資料集上，LqRT 成功檢測出良性與惡性腫瘤之間所有 10 個特徵的平均值差異顯著，不等變異數假設下 p 值均為 0.0。
• 套件實作支援單樣本、配對與獨立兩樣本檢驗，語法與參數處理一致，適用於應用研究的廣泛場景。