[論文レビュー] High-Dimensional Gaussian Copula Regression: Adaptive Estimation and Statistical Inference

Tianxi Cai, Linjun Zhang|arXiv (Cornell University)|Dec 8, 2015

Advanced Statistical Methods and Models被引用数 7

ひとこと要約

本稿では、未知の単調な端末変換の知識を必要とせずに最適な収束速度を達成する高次元ガウスコプール回帰の適応的推定および仮説検定手法を提案する。ケンダールのtauを用いて共分散行列を推定し、ℓ1正則化とデバイアス補正を適用することで、有効な信頼区間と仮説検定が可能となり、最適な条件下では高次元線形回帰と同等の性能を達成する。

ABSTRACT

We develop adaptive estimation and inference methods for high-dimensional Gaussian copula regression that achieve the same performance without the knowledge of the marginal transformations as that for high-dimensional linear regression. Using a Kendall's tau based covariance matrix estimator, an $\ell_1$ regularized estimator is proposed and a corresponding de-biased estimator is developed for the construction of the confidence intervals and hypothesis tests. Theoretical properties of the procedures are studied and the proposed estimation and inference methods are shown to be adaptive to the unknown monotone marginal transformations. Prediction of the response for a given value of the covariates is also considered. The procedures are easy to implement and perform well numerically. The methods are also applied to analyze the Communities and Crime Unnormalized Data from the UCI Machine Learning Repository.

研究の動機と目的

• 高次元ガウスコプール回帰における適応的推定および仮説検定手順を開発し、高次元線形回帰と同等の性能を達成すること。
• 高次元設定における未知の単調な端末変換の課題に対処すること。
• 端末変換の推定を要件とせず、有効な信頼区間と仮説検定を構築すること。
• これらの手法が、高次元スパースモデルにおいてレート最適かつ計算的に実行可能であることを保証すること。

提案手法

• 端末変換の知識を必要とせず、変数の変換後の共分散行列を順位に基づくケンダールのtauを用いて推定する。
• ガウスコプールモデル下でのスパース高次元回帰係数に対してℓ1正則化推定量を提案する。
• 有効な推論（信頼区間や仮説検定を含む）を可能にするため、デバイアス補正推定量を開発する。
• 個々の係数に対する漸近正規統計量を構築するために、デバイアス補正推定量を応用する。
• 2段階手順を採用：まずランクに基づくケンダールのtauで共分散行列を推定し、その後正則化とデバイアス補正を適用する。
• 推定および推論フレームワークの注意深い設計により、未知の変換への適応性と理論的最適性を確保する。

実験結果

リサーチクエスチョン

• RQ1 未知の端末変換の知識なしに、高次元ガウスコプール回帰における適応的推定および仮説検定が可能か？
• RQ2 提案手法が、高次元線形回帰と同等の最適収束速度を達成するか？
• RQ3 端末変換の推定を要件とせず、有効な信頼区間と仮説検定を構築できるか？
• RQ4 コプールモデル下で、デバイアス補正推定量は漸近正規か？
• RQ5 これらの手法は有限標本および実世界のデータにおいてどのように性能を発揮するか？

主な発見

• 提案されたℓ1正則化推定量は、正則性条件の下で最適な収束速度を達成し、高次元線形回帰のミニマックス下界と一致する。
• デバイアス補正推定量は漸近正規であり、個々の係数の有効な信頼区間と仮説検定を可能にする。
• 未知の単調な端末変換に対して適応的であり、変換が既知であるかのように同等の性能を達成する。
• 数値的実験では、良好な有限標本性能が示され、信頼区間のカバレッジが正確で、仮説検定のサイズも適切に維持される。
• UCI Communities and Crimeデータセットへの応用により、実用的有用性が実証された。
• ケンダールのtauに基づく共分散推定は、端末変換の誤指定によるバイアスを回避し、よりロバストな性能を実現する。