[論文レビュー] Robust Hypothesis Test for Nonlinear Effect with Gaussian Processes

Jeremiah Zhe Liu, Brent A. Coull|arXiv (Cornell University)|Oct 3, 2017

Gaussian Processes and Bayesian Inference参考文献 15被引用数 5

ひとこと要約

本稿では、線形混合モデルフレームワークにおける分散成分に基づく片側スコア検定を用いて、ガウス過程を用いて非線形効果を検出するロバストな仮説検定を提案する。モデルの誤指定や小標本下での信頼性を確保するため、交差検証によるカーネルアンサンブル（CVEK）推定器を導入し、多様なデータ生成関数において、標準的なカーネル選択手法と比較して優れた第一種誤りの制御と検出力が示された。

ABSTRACT

This work constructs a hypothesis test for detecting whether an data-generating function $h: R^p ightarrow R$ belongs to a specific reproducing kernel Hilbert space $\mathcal{H}_0$ , where the structure of $\mathcal{H}_0$ is only partially known. Utilizing the theory of reproducing kernels, we reduce this hypothesis to a simple one-sided score test for a scalar parameter, develop a testing procedure that is robust against the mis-specification of kernel functions, and also propose an ensemble-based estimator for the null model to guarantee test performance in small samples. To demonstrate the utility of the proposed method, we apply our test to the problem of detecting nonlinear interaction between groups of continuous features. We evaluate the finite-sample performance of our test under different data-generating functions and estimation strategies for the null model. Our results reveal interesting connections between notions in machine learning (model underfit/overfit) and those in statistical inference (i.e. Type I error/power of hypothesis test), and also highlight unexpected consequences of common model estimating strategies (e.g. estimating kernel hyperparameters using maximum likelihood estimation) on model inference.

研究の動機と目的

• 部分的に既知の再生核ヒルベルト空間（RKHS）に属する非線形のデータ生成関数を検出する仮説検定を開発すること。
• 従来のパrameterベースの推論が直接適用できないガウス過程のようなブラックボックスモデルにおける特徴効果の検定課題に対処すること。
• 小標本設定下でのカーネル誤指定およびモデルの過学習／過小適合に対するロバスト性を確保すること。
• 交差検証誤差を最小化するようにカーネルを選び、信頼性の高い帰無仮説モデル推定に寄与するアンサンブルベースの推定器（CVEK）を提案すること。
• カーネルベースの仮説検定の文脈において、機械学習の概念（過小適合／過学習）と統計的推論の概念（第一種誤り／検出力）を統合すること。

提案手法

• 特徴効果を表すスカラー母数を再生核ヒルベルト空間（RKHS）構造から導出する片側スコア検定を用いて仮説検定を定式化する。
• ガウス過程回帰を線形混合モデル（LMM）に再表現することで、分散成分の検定を可能にする。
• 完全な代替仮説モデルの適合を避けるために、帰無仮説モデルの推定値のみに依存するスコア検定統計量を用いる。
• 交差検証誤差を最小化するようにカーネルを選び、カーネルライブラリから最適なカーネル構造を特定する「交差検証カーネルアンサンブル（CVEK）」推定器を開発する。
• RBFカーネルおよびニューラルネットワークカーネルの両方を用い、ハイパーパramータのグリッドを用いてロバスト性を確保する。
• LMMフレームワークを用いて、帰無仮説下でのスコア検定統計量およびその漸近的分布を導出する。

実験結果

リサーチクエスチョン

• RQ1 関数形が未知であり、帰無仮説のRKHSについても部分的な知識しか得られない状況において、ブラックボックスモデル（例：ガウス過程）における非線形効果をどのように検定できるか？
• RQ2 特に過学習や過小適合を引き起こすカーネル誤指定が、仮説検定の第一種誤りと検出力に与える影響は何か？
• RQ3 標準的なカーネル推定戦略が失敗する小標本下において、アンサンブルベースのカーネル選択法は検定性能を向上させ得るか？
• RQ4 一般的なモデル推定手法（例：ハイパーパramータの最尤推定）は、仮説検定の妥当性にどのように影響を与えるか？
• RQ5 機械学習の概念（過小適合／過学習）と統計的推論の概念（第一種誤り／検出力）の間には、どのような関係があるか？

主な発見

• CVEK推定器を用いることで、すべてのデータ生成関数において第一種誤りが正確に制御され（0.05に近い）、モデル誤指定下でもその性能が維持された。
• 多項式カーネル（線形および二次）は一貫して過小適合を示し、第一種誤りが上昇し、検出力が低下した。
• 低次のマトérnカーネル（1/2および3/2）は、真の関数が滑らかである場合に過学習を示し、第一種誤りが低下し、検出力が著しく低下した。
• MLEでハイパーパramータを推定したRBFカーネルは、小標本下で特に複雑または粗い関数に対して第一種誤りが著しく上昇（最大0.238）した。
• RBF-Median（データ間隔の中央値に基づく）は良好な性能を示したが、若干の保守的傾向を示した。CVEK-RBFおよびCVEK-NNは、すべての非アンサンブル手法よりも第一種誤りの制御と検出力の両面で優れた性能を示した。
• CVEK-RBFおよびCVEK-NNは、真のカーネルタイプに関係なく一貫したロバストな性能を示し、特にCVEK-RBFはわずかに高い検出力を示しており、信頼性のある推論のためのアンサンブルベースのカーネル選択の価値を示している。