[論文レビュー] Computation of projection regression depth and its induced median

Yijun Zuo|arXiv (Cornell University)|May 28, 2019

Advanced Statistical Methods and Models参考文献 33被引用数 4

ひとこと要約

本稿では、射影回帰深度（PRD）およびその誘導された中央値（最大深度推定子）を計算する正確かつ近似のアルゴリズムを提示し、それぞれO(n² log n)およびO(RpNβ(p² + nNvNIter))の計算コストを達成している。3つの高速で頑健なPRDに基づく推定子を導入し、PRD中央値よりも最大30倍速く、高い正確性を維持しながら、汚染下でも最先端の回帰深度中央値を上回る頑健性と効率性を示している。

ABSTRACT

Notions of depth in regression have been introduced and studied in the literature. The most famous example is Regression Depth (RD), which is a direct extension of location depth to regression. The projection regression depth (PRD) is the extension of another prevailing location depth, the projection depth, to regression. The computation issues of the RD have been discussed in the literature. The computation issues of the PRD have never been dealt with before. The computation issues of the PRD and its induced median (maximum depth estimator) in a regression setting are addressed now. For a given $\bsβ\in\R^p$ exact algorithms for the PRD with cost $O(n^2\log n)$ ($p=2$) and $O(N(n, p)(p^{3}+n\log n+np^{1.5}+npN_{Iter}))$ ($p>2$) and approximate algorithms for the PRD and its induced median with cost respectively $O(N_{\mb{v}}np)$ and $O(Rp N_{\bsβ}(p^2+nN_{\mb{v}}N_{Iter}))$ are proposed. Here $N(n, p)$ is a number defined based on the total number of $(p-1)$ dimensional hyperplanes formed by points induced from sample points and the $\bsβ$; $N_{\mb{v}}$ is the total number of unit directions $\mb{v}$ utilized; $N_{\bsβ}$ is the total number of candidate regression parameters $\bsβ$ employed; $N_{Iter}$ is the total number of iterations carried out in an optimization algorithm; $R$ is the total number of replications. Furthermore, as the second major contribution, three PRD induced estimators, which can be computed up to 30 times faster than that of the PRD induced median while maintaining a similar level of accuracy are introduced. Examples and simulation studies reveal that the depth median induced from the PRD is favorable in terms of robustness and efficiency, compared to the maximum depth estimator induced from the RD, which is the current leading regression median.

研究の動機と目的

• 射影深度を回帰に拡張する頑健な回帰深度の概念である射影回帰深度（PRD）における、長年の計算手法の空白を解消すること。
• PRD計算およびその誘導中央値の正確および近似アルゴリズムの開発により、高次元回帰における実用的応用を可能にすること。
• 計算効率が高く、頑健性と正確性を保持する3つの新しいPRD誘導推定子の導入。
• 汚染下における頑健性、効率性、破壊点という観点から、PRD中央値と確立された回帰深度（RD）中央値を比較すること。
• シミュレーションを通じて、有限標本においてPRD中央値が優れた性能を示すことを示すこと、特に汚染下での優位性。

提案手法

• 超平面の列挙と最適化に基づき、p=2の場合はO(n² log n)、p>2の場合はO(N(n,p)(p³ + n log n + np¹·⁵ + npNIter))の計算コストを有するPRD計算の正確なアルゴリズムを提案。
• ランダムな単位方向と反復最適化を用い、PRDの計算コストがO(Nvnp)、誘導中央値の計算コストがO(RpNβ(p² + nNvNIter))の近似アルゴリズムを導入。
• 不適合度（UF）を、投影された残差と単位ベクトル間の絶対相関の上界として定義し、PRD計算の基盤を形成。
• 全方向における頑健性の最大化を通じて深さを計算する投影追求フレームワークを採用し、アフィン不変性およびスケール不変性を保証。
• 方向探索と反復的精錬を活用して、計算負荷を軽減しながらも頑健性を損なわない3つの高速推定子を開発。
• モンテカルロシミュレーションと実データ例を用いて、アルゴリズムの妥当性を検証し、最小二乗法やRD中央値などの既存手法と性能を比較。

実験結果

リサーチクエスチョン

• RQ1 高次元回帰設定において、射影回帰深度（PRD）をどのように効率的に計算できるか？
• RQ2 PRDおよびその誘導中央値の正確および近似アルゴリズムの計算複雑度は何か？
• RQ3 計算時間を短縮しながらも高い頑健性と正確性を維持できる、PRDから導かれるより高速な推定子を導出できるか？
• RQ4 汚染下における頑健性と効率性という観点から、PRD誘導中央値は回帰深度（RD）誘導中央値と比べてどのように異なるか？
• RQ5 有限標本におけるPRDベースの推定子の性能（平均二乗誤差と破壊点）はいかほどか？

主な発見

• PRD誘導中央値（T*PRD）の有限標本破壊点は最大50%に達し、RD誘導中央値（T*RD）の33%よりも顕著に高い。
• すべての標本サイズnにおいて、PRD誘導中央値はRD誘導中央値よりも一貫して効率的であり、汚染下でn=200に達するまでに525%まで効率が向上する。
• PRD誘導中央値は汚染下でも最小二乗推定子を上回り、1つまたは3つの点が重度に汚染されても安定に保たれる。
• 提案された3つの高速推定子は、PRD中央値よりも最大30倍速く、同程度の正確性と頑健性を維持している。
• PRD中央値はRD中央値と比べ、一意でなく、有限標本破壊点が低いという問題を抱えるRD中央値よりも、汚染に対してより敏感でない。
• シミュレーションにより、すべての深さベース推定子のEMSEはnの増加に伴い減少し、汚染下でもPRDベース推定子が最小二乗法およびRDベース推定子よりも一貫して低いEMSEを達成することが示された。