[論文レビュー] Non-parametric Quantile Regression via the K-NN Fused Lasso

Steven Siwei Ye, Oscar Hernán Madrid Padilla|arXiv (Cornell University)|Dec 3, 2020

Statistical Methods and Inference参考文献 38被引用数 9

ひとこと要約

本稿では、高次元データにおける条件付き分位数を推定するために、K-NN融合lassoを用いた非パrametric分位数回帰手法を提案する。K近傍法グラフ構造と融合lassoペナルティを組み合わせることで、重い裾尾を持つ誤差に対しても、$ n^{-1/d} $ の近似ミニマックス収束速度（対数要因を除く）を達成し、シミュレーションおよび実データにおいて優れた経験的性能を示す。

ABSTRACT

Quantile regression is a statistical method for estimating conditional quantiles of a response variable. In addition, for mean estimation, it is well known that quantile regression is more robust to outliers than $l_2$-based methods. By using the fused lasso penalty over a $K$-nearest neighbors graph, we propose an adaptive quantile estimator in a non-parametric setup. We show that the estimator attains optimal rate of $n^{-1/d}$ up to a logarithmic factor, under mild assumptions on the data generation mechanism of the $d$-dimensional data. We develop algorithms to compute the estimator and discuss methodology for model selection. Numerical experiments on simulated and real data demonstrate clear advantages of the proposed estimator over state of the art methods.

研究の動機と目的

• 多変量データの局所的構造に適応するロバストな非パラメトリック分位数回帰推定量を開発すること。
• K-NNグラフを用いて局所的近傍構造を統合することで、従来の手法の限界を克服すること。
• 一般の誤差分布（重い裾尾を含む）のもとでの理論的収束速度を確立すること。
• 真の関数の構造を事前に知らない状態で、区分的線形または多項式信号構造に適応できる手法を提供すること。
• 計算可能でモデル選択に適したアルゴリズムを提供し、公開されたコードを用意すること。

提案手法

• 共変量空間上にK-近傍法（K-NN）グラフを構築し、局所的な幾何的構造を符号化する。
• 分位数回帰問題を制約付き最適化として定式化：非対称損失関数に加え、K-NNグラフ上の融合lassoペナルティを導入する。
• K-NNグラフの方向付き接続行列$ \nabla_G $を用いて、全 Variation ペナルティ$ \|\nabla_G \theta\|_1 $を定義し、区分的定数または線形推定量を促進する。
• 最近の分位数トレンドフィルタリングおよびK-NN融合lassoに関する理論的進展を活用し、収束保証を導出する。
• 推定誤差を測るためのハーバー類似損失関数$ \Delta_n^2(\delta) $を適用し、ロバスト性と効率性のバランスを取る。
• 経験過程理論と対称化技術を用いて、経験的損失と真の損失の乖離を制御し、高確率の境界を可能にする。

実験結果

リサーチクエスチョン

• RQ1 K-NN融合lasso推定量は、一般の誤差分布のもとで、非パラメトリック分位数回帰において最適な収束速度を達成できるか？
• RQ2 従来のパラメトリック仮定が失敗する高次元設定において、本手法はどのように性能を発揮するか？
• RQ3 K-NNを用いた局所的近傍構造の統合は、グローバルスムージング手法と比較して、推定精度をどの程度向上させるか？
• RQ4 高速な収束速度を達成しつつ、重い裾尾を持つ誤差に対してもロバスト性を維持できるか？
• RQ5 真の信号における区分的多項式構造への推定量の適応性の理論的根拠は何か？

主な発見

• 提案されたK-NN融合lasso分位数推定量は、対数要因を除き$ n^{-1/d} $の収束速度を達成し、非パラメトリック分位数回帰においてほぼミニマックスレートに一致する。
• 本手法は、一般の誤差分布（重い裾尾を含む）のもとでも最適なレートを維持するが、従来の手法は部分ガウス型または部分指数型の尾の仮定を必要としていた。
• 理論的分析は真の信号の有界変動性にのみ依存しており、非常に一般なモデルに適用可能である。
• シミュレーションおよび実データにおける数値実験により、最先端手法に比べて推定精度とロバスト性に明確な優位性が示された。
• 構造的データに対する実験から、真の回帰関数に区分的線形または多項式構造がある場合に、推定量が良好に適応することが実証された。
• すべてのアルゴリズムとデータセットはGitHubで公開されており、再現性とさらなる手法開発を可能にしている。