[論文レビュー] On general notions of depth for regression

Yijun Zuo|arXiv (Cornell University)|May 5, 2018

Advanced Statistical Methods and Models参考文献 83被引用数 9

ひとこと要約

本稿は、位置深度の原則を回帰に拡張することで、回帰深度の統一的枠組みを提案し、投影深度の新たな回帰版を提唱するとともに、Rousseeuw-Hubert回帰深度やCarrizosa深度といった既存の概念を厳密に評価する。連続性、一貫性、準凸性といった理論的性質を確立し、標本分布下で古典的推定量が回帰深度の最大深度推定量として回復されることを示している。

ABSTRACT

Depth notions in location have fascinated tremendous attention in the literature. In fact data depth and its applications remain one of the most active research topics in statistics in the last two decades. Most favored notions of depth in location include Tukey (1975) halfspace depth (HD), Liu (1990) simplicial depth, and projection depth (Stahel (1981) and Donoho (1982), Liu (1992), Zuo and Serfling (2000) (ZS00) and Zuo (2003)), among others. Depth notions in regression have also been proposed, sporadically nevertheless. Regression depth (RD) of Rousseeuw and Hubert (1999) (RH99) is the most famous one which is a direct extension of Tukey HD to regression. Others include Carrizosa (1996) and the ones induced from Marrona and Yohai (1993) (MY93) proposed in this article. Is there any relationship between Carrizosa depth and RD of RH99? Do these depth notions possess desirable properties? What are the desirable properties? Can existing notions really serve as depth functions in regression? These questions remain open. Revealing the equivalence between Carrizosa depth and RD of RH99; expanding location depth evaluating criteria in ZS00 for regression depth notions; examining the existing regression notions with respect to the gauges; and proposing the regression counterpart of the eminent projection depth in location are the four major objectives of the article.

研究の動機と目的

• ZuoとSerfling（2000）の位置深度評価フレームワークを拡張することで、回帰深度の概念を評価する一貫した公理的基準のセットを確立すること。
• Carrizosa深度とRousseeuw-Hubert回帰深度の間の理論的関係を明確にし、それらの概念的つながりにおける曖昧さを解消すること。
• 特にRousseeuw-HubertおよびCarrizosa深度を含む既存の回帰深度概念が、提案された評価基準を満たすかどうかを評価すること。
• 位置投影深度の回帰版として自然な新たな回帰深度概念を導入・形式化し、頑健性と理論的一致性を保証すること。
• 新しい枠組みに基づく最大深度推定量が、標本分布下で古典的推定量（例：最小二乗法、最小絶対偏差）を回復することを示すこと。

提案手法

• MarronaとYohai（1993）のインスピレーションを受けて、投影追跡に基づく定式化も含む4つの異なる手法により、回帰における不適合度と深度の一般定義を提案する。
• 回帰超平面を垂直に傾ける際に通過しなければならない最小の確率質量として回帰深度を定義し、Tukeyの半空間深度を回帰に一般化する。
• 位置投影深度を回帰に直接拡張した投影回帰深度（PRD）を導入し、残差の方向投影を用いる。
• 経験過程理論と連続性の議論を用いて、経験回帰深度がその母集団対応物にほとんど確実に一様収束することを確立する。
• 確率測度の上半連続性および下限の性質を適用し、深度関数の連続性と準凸性を証明する。
• 深度の関数形を用いて最大深度推定量を導出し、これは最大不適合度を最小化するものであり、標本分布下では古典的推定量を回復する。

実験結果

リサーチクエスチョン

• RQ1 Carrizosa深度とRousseeuw-Hubert回帰深度の理論的関係は何か？
• RQ2 回帰深度の概念が有効で頑健であると見なされるために満たすべき公理的性質は何か？
• RQ3 既存の回帰深度概念（例：Rousseeuw-Hubert、Carrizosa）は、提案された評価基準を満たすことができるか？
• RQ4 顕著な位置投影深度の自然な回帰版は存在するか？
• RQ5 新しい枠組みから導かれる最大深度推定量は、最小二乗法や最小絶対偏差といった古典的推定量とどのように関係するか？

主な発見

• Carrizosa深度とRousseeuw-Hubert回帰深度は、共通の幾何学的・確率的基盤を持つが、構築方法と性質において相違する。
• 提案された投影回帰深度（PRD）はパrameter空間において準凸的であり、ややきわめて弱い条件下でも一意の最も深い推定量が存在することを保証する。
• 回帰深度関数は上半連続であり、正則性条件のもとで、経験回帰深度は母集団深度関数にほとんど確実かつ一様に収束する。
• PRDに基づく最大深度推定量は、古典的推定量を回復する：標本分布を用いる場合、最小二乗法および最小絶対偏差が回復される。
• 母分布に密度関数が存在する場合、深度関数は連続であり、データが単一の回帰超平面上に完全に存在する場合にのみ不連続性が生じる。
• 新しい枠組みは、頑健な回帰推定の統一的理論的基盤を提供し、最も深い推定量は頑健かつ漸近的に一貫している。