[論文レビュー] Penalized Likelihood Regression in Reproducing Kernel Hilbert Spaces with Randomized Covariate Data

Xiwen Ma, Bin Dai+4 more|arXiv (Cornell University)|Aug 2, 2010

Statistical Methods and Inference参考文献 45被引用数 5

ひとこと要約

本稿は、誘導変数が確率分布として観測される（すなわち正確な値ではなく）場合の二値データおよびカウントデータに対する、再生核ヒルバート空間（RKHS）における罰則付き尤度回帰フレームワークを提案する。最大罰則付き尤度推定器の存在を確立し、次元削減に基づく計算アルゴリズムを導入し、平滑化パラメータ選択のための一般化近似交差検証（GACV）基準を構築した。測定誤差および欠損共変量問題への拡張について理論的・数値的妥当性を検証した。

ABSTRACT

Classical penalized likelihood regression problems deal with the case that the independent variables data are known exactly. In practice, however, it is common to observe data with incomplete covariate information. We are concerned with a fundamentally important case where some of the observations do not represent the exact covariate information, but only a probability distribution. In this case, the maximum penalized likelihood method can be still applied to estimating the regression function. We first show that the maximum penalized likelihood estimate exists under a mild condition. In the computation, we propose a dimension reduction technique to minimize the penalized likelihood and derive a GACV (Generalized Approximate Cross Validation) to choose the smoothing parameter. Our methods are extended to handle more complicated incomplete data problems, such as, covariate measurement error and partially missing covariates.

研究の動機と目的

• 共変量が正確に観測されないが、確率分布として観測される（ランダム化共変量）非パラメトリック回帰を扱う。
• RKHSにおける最小罰則付き尤度推定器の理論的存在を、やや弱い正則性条件のもとで確立する。
• ランダム化データにおける罰則付き尤度の最小化を実行可能にする次元削減手法を構築する。
• 不完全データ設定における最適な平滑化パラメータ選択のための一般化近似交差検証（GACV）基準を提案する。
• 同一の罰則付き尤度およびGACVアプローチを用いて、共変量の測定誤差および部分的欠損共変量を扱うフレームワークに拡張する。

提案手法

• 罰則付き尤度目的関数を $ I_\nu(f) = -\frac{1}{n}\sum_{i=1}^n \log p(y_i|x_i,f) + \frac{\lambda}{2} J(f) $ として定式化し、$ f \in \mathcal{H} $（再生核ヒルバート空間）であり、$ J(f) $ は滑らかさを罰する半ノルムである。
• 潜在共変量分布の統合によりランダム化共変量を扱い、観測された分布 $ \Pi_i $ に依存するマージナライズド尤度を得る。
• 高次元積分を近似するための数値積分則（四則則）を適用し、無限次元最適化問題を有限次元問題に還元する。
• leave-one-out予測誤差の局所線形近似を用いて導出された一般化近似交差検証（GACV）基準を用い、正確な交差検証の代わりに計算効率の良い形に置き換える。
• GACV推定器の安定性を確保し、高次元設定でも頑健性を保つために、部分行列の一般化平均 $ \bar{H}_{ii} $ および $ \bar{G}_{ii} $ を定義する。
• ペナルティを複合RKHSにおけるノルムとして再定式化することで、SS-ANOVAモデルへの拡張を図り、罰則付き尤度構造を保ったままにする。

実験結果

リサーチクエスチョン

• RQ1 共変量が正確に観測されず、確率分布としてのみ観測される（すなわちランダム化共変量）場合、最大罰則付き尤度推定器が存在する条件は何か？
• RQ2 共変量が点観測ではなく確率分布として表現される場合、罰則付き尤度を効率的に最小化する方法は何か？
• RQ3 ランダム化共変量が存在する状況において、平滑化パラメータ $ \lambda $ を選択するための計算的に実行可能で安定した手法は何か？
• RQ4 提案されたフレームワークは、共変量の測定誤差や欠損共変量といったより複雑な不完全データ問題に対しても拡張可能か？
• RQ5 一般化近似交差検証（GACV）基準は $ \lambda $ の選択においてどの程度有効か？また、すべての共変量が正確に観測される場合、標準的なGACVに還元されるか？

主な発見

• ランダム化共変量の分布およびRKHSの構造にやや弱い条件を課すことで、最大罰則付き尤度推定器の存在が保証される。
• 四則則による次元削減手法により、共変量分布が高次元的または連続的であっても、罰則付き尤度推定器の計算が効率的に行える。
• 一般化近似交差検証（GACV）基準が導出され、正確な交差検証の代替として安定的かつ計算効率が良く、影響行列の一般化平均を含む閉形式表現を持つことが示された。
• すべての共変量が正確に観測される場合、GACV基準はXiangとWahba（1996）の標準的なGACV式に還元され、一貫性が裏付けられた。
• 数値的実験により、測定誤差および欠損共変量を含むシミュレートデータにおいて、本手法が正確な推定と効果的な平滑化パラメータ選択を達成することが示された。
• SS-ANOVAモデルへの拡張は理論的に妥当であり、SS-ANOVAにおける罰則付き尤度は、同一のRKHSフレームワークと単一のペナルティノルムを用いて再定式化可能である。