[論文レビュー] Sparse Wavelet Estimation in Quantile Regression with Multiple Functional Predictors

Dengdeng Yu, Li Zhang+3 more|arXiv (Cornell University)|Jun 7, 2017

Sparse and Compressive Sensing Techniques参考文献 46被引用数 3

ひとこと要約

本稿では、複数の関数的予測子を伴うスカラ応答のためのスパースウェーブレットベースの分位数回帰手法を提案する。スパースグループラasso罰則を用いることで、重要でない関数的予測子の選択とそれらの間の共有構造の捉え込みを同時に実現する。本手法は、局所的特徴検出のためのウェーブレット基底展開を採用し、2次錐計画法とADMMを用いて推定問題を解き、理論的に最適な収束速度と予測誤差の上限を達成するとともに、シミュレーションおよびADHD-200 fMRIデータにおいて優れた性能を示す。

ABSTRACT

In this manuscript, we study quantile regression in partial functional linear model where response is scalar and predictors include both scalars and multiple functions. Wavelet basis are adopted to better approximate functional slopes while effectively detect local features. The sparse group lasso penalty is imposed to select important functional predictors while capture shared information among them. The estimation problem can be reformulated into a standard second-order cone program and then solved by an interior point method. We also give a novel algorithm by using alternating direction method of multipliers (ADMM) which was recently employed by many researchers in solving penalized quantile regression problems. The asymptotic properties such as the convergence rate and prediction error bound have been established. Simulations and a real data from ADHD-200 fMRI data are investigated to show the superiority of our proposed method.

研究の動機と目的

• 複数の関数的予測子とスカラ共変量を伴う高次元の関数的分位数回帰に対するロバストな手法の必要性に対応する。
• 局所的関数的特徴検出と計算効率性を組み込むことで、従来手法の限界を克服する。
• スパースグループラasso罰則を用いて、複数の関数的予測子全体における変数選択と、各予測子内でのスパarsityを同時に実行する。
• 正則性条件の下で収束速度および予測誤差の上限といった理論的保証を確立する。
• ADHD-200プロジェクトの実際のfMRIデータを用いて、本手法の有効性を示し、特に異なる分位数レベルにおける関連脳領域（ROIs）の同定を目的とする。

提案手法

• 複数の関数的予測子間で共有される情報を捉えるために、共通のウェーブレット基底を用いて関数的係数を表現する。
• ラassoとグループラasso罰則を組み合わせたスパースグループラasso罰則を用いた罰則付き分位数回帰として推定問題を定式化する。
• 最適化問題を内点法で解ける標準的な2次錐計画問題に再定式化する。
• スパース罰則付き分位数回帰問題を効率的に解くためのADMMアルゴリズムを開発し、高次元設定へのスケーラビリティを実現する。
• 理論的解析と漸近的性質の導出のため、分位数回帰におけるチェック関数の線形化にKnightの恒等式を用いる。
• ウェーブレットスレッショーディングと基底展開を用いて、スパースで局所的かつ適応的な関数的係数推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレット基底表現は、複数の関数的予測子を伴う分位数回帰における推定精度および局所的特徴検出を向上させるか？
• RQ2 スパースグループラasso罰則は、分位数回帰枠組みにおいて、重要でない関数的予測子の選択とそれらの間の共有構造の捉え込みを効果的に実現するか？
• RQ3 正則性条件の下で、提案手法の推定子の理論的収束速度および予測誤差の上限は何か？
• RQ4 実際のfMRIデータにおいて、既存手法と比較して本手法の変数選択および予測性能はどのように異なるか？
• RQ5 本手法は、異なる分位数レベルにおいて、ADHD指数に関連する生物学的に意味のある脳領域（ROIs）を同定できるか？

主な発見

• 提案手法は、真の係数関数のスパarsityおよび滑らかさに依存する最適な収束速度を達成する関数的係数推定子を実現する。
• 正則性条件の下で予測誤差の上限が確立され、推定子が標本サイズおよびウェーブレット係数の数に依存して真の係数に収束することを示す。
• ADMMアルゴリズムは効率的に収束し、fMRIのような高次元関数的データに適用可能なスケーラブルな計算を可能にする。
• シミュレーションでは、特にスパースかつ相関の高い関数的予測子の下で、競合手法に比べて変数選択の正確性と予測誤差の両面で優れた性能を示す。
• ADHD-200 fMRIアプリケーションでは、ADHD重症度に関連する少数の関連脳ROIs（例：前頭前野および頂頭側領域）を、異なる分位数レベルで効果的に同定した。
• スパースグループラasso罰則は、ROI全体のグループスパarsity（全ROIsの選択）とROI内スパarsity（関連ウェーブレット係数の選択）のバランスを効果的にとらえ、解釈可能性と性能の両方を向上させる。