[論文レビュー] A Constructive Approach to the Estimation of Dimension Reduction Directions

Yingcun Xia|ArXiv.org|Jan 26, 2007

Statistical and numerical algorithms参考文献 21被引用数 4

ひとこと要約

本稿では、回帰モデルを変換することで中央部分空間（CS）を中央平均空間（CMS）と一致させることにより、CSの次元削減方向を構成的に推定する手法を提案する。この手法により、CS方向の包括的同定が可能になる。本手法は二重カーネルスムージングと二次計画法を用い、逆回帰法や直接回帰法と比較して、有限標本性能に優れた√n一致性を達成する。

ABSTRACT

In this paper, we propose two new methods to estimate the dimension-reduction directions of the central subspace (CS) by constructing a regression model such that the directions are all captured in the regression mean. Compared with the inverse regression estimation methods (e.g. Li, 1991, 1992; Cook and Weisberg, 1991), the new methods require no strong assumptions on the design of covariates or the functional relation between regressors and the response variable, and have better performance than the inverse regression estimation methods for finite samples. Compared with the direct regression estimation methods (e.g. Härdle and Stoker, 1989; Hristache, Juditski, Polzehl and Spokoiny, 2001; Xia, Tong, Li and Zhu, 2002), which can only estimate the directions of CS in the regression mean, the new methods can detect the directions of CS exhaustively. Consistency of the estimators and the convergence of corresponding algorithms are proved.

研究の動機と目的

• 強い設計仮定を要する従来の逆回帰法の限界を解消すること。
• 直接回帰法の欠陥を克服すること。特に、条件付き分散に関連するCS方向を同定できない点を改善する。
• CSが中央平均空間（CMS）と一致するように回帰モデルを変換することで、すべてのCS方向を包括的に同定する手法を開発すること。
• やや弱い正則性条件のもとで、提案手法の一致性と収束性を保証すること。
• フーリエ変換と二次計画法を活用することで、非パラメトリック密度推定の代替手段として計算的に効率的な手法を提供すること。

提案手法

• YのXに関する条件付き密度が漸近的に条件付き平均関数と等価になるような回帰モデルを構築し、CMS推定手法の適用を可能にする。
• 二重カーネルスムージングを用いて条件付き密度および平均関数を推定し、それぞれの設計変数と応答変数に対して帯域幅hおよびbを用いる。
• 目的関数を周波数領域で表現することで、二次計画法に適した形に変換するため、逆フーリエ変換を適用する。
• 最小化問題を解析解が得られる2つの別々の二次計画問題に定式化し、計算効率を確保する。
• スムージングカーネルの特性関数φ_Kおよびφ_Hを用いて、条件付き密度と平均の同時推定を処理する。
• 推定関数のモーメントバウンドと経験過程理論を用いて、アルゴリズムのほとんど確実収束と推定量の一致性を証明する。

実験結果

リサーチクエスチョン

• RQ1 中央部分空間（CS）が中央平均空間（CMS）推定によって完全に回復可能となるような構成的回帰モデルを設計できるか？
• RQ2 平均関数にのみ現れる方向以外のCS方向も含めて、すべてのCS方向を包括的に推定するにはどうすればよいか？
• RQ3 提案手法の有限標本性能は、逆回帰法（例：SIR, SAVE）および直接回帰法（例：ADE, MAVE）と比較してどの程度優れているか？
• RQ4 弱い正則性条件のもとで、提案アルゴリズムが√n一致性および収束性を達成できるか？
• RQ5 二重カーネルスムージングとフーリエ変換の使用が、推定の効率性と計算可能性をどのように向上させるか？

主な発見

• 提案手法は、推定されたCS方向に対して√n一致性を達成し、漸近的効率性を保証する。
• やや弱い正則性条件のもとで、経験過程のバウンドとモーメント不等式を用いて、アルゴリズムがほとんど確実に収束することを証明した。
• シミュレーションにより、特に複雑な依存構造において、逆回帰法や直接回帰法と比較して優れた有限標本性能を示した。
• 直接回帰法が平均関連方向のみを捉えるのに対し、本手法は条件付き分散に関連するすべてのCS方向を正しく検出できた。
• 解析解が得られる二次計画法の使用により、非パラメトリック密度推定における次元の呪いを克服し、高速かつ安定した計算が可能になった。
• 実データへの応用では、意味のあるパターンが明らかとなり、高次元回帰設定における本手法の実用的有用性が検証された。