[論文レビュー] Nonparametric Reduced Rank Regression

Rina Foygel, Michael T. Horrell+2 more|arXiv (Cornell University)|Jan 9, 2013

Statistical Methods and Inference参考文献 10被引用数 14

ひとこと要約

本稿では、非パラメトリックな低ランク多変量加法モデルを推定するため、関数的核ノルムペナルティを用いた非パラメトリックな低ランク回帰を導入し、部分微分法に裏打ちされたバックフィットリングアルゴリズムを提案する。高次元設定における最適スケーリングを示すオラクル不等式を確立し、遺伝子発現データおよび生化学的データに対してランク低減されたフィットを示している。

ABSTRACT

We propose an approach to multivariate nonparametric regression that generalizes reduced rank regression for linear models. An additive model is estimated for each dimension of a $q$-dimensional response, with a shared $p$-dimensional predictor variable. To control the complexity of the model, we employ a functional form of the Ky-Fan or nuclear norm, resulting in a set of function estimates that have low rank. Backfitting algorithms are derived and justified using a nonparametric form of the nuclear norm subdifferential. Oracle inequalities on excess risk are derived that exhibit the scaling behavior of the procedure in the high dimensional setting. The methods are illustrated on gene expression data.

研究の動機と目的

• 線形回帰からの低ランク回帰を、多変量回帰における非パラメトリック加法モデルへ一般化すること。
• 非パラメトリック関数推定における低ランク構造を誘導する関数的核ノルムの形を構築すること。
• 核ノルムペナルティの非パラメトリック部分微分を用いて、バックフィットリングアルゴリズムを導出し、正当化すること。
• 高次元設定における超過リスクに関するオラクル不等式を用いて理論的保証を確立すること。
• 遺伝子発現や生化学的測定値など、実世界のデータにおける低ランク構造を回復できることを示すこと。

提案手法

• 非パラメトリック多変量加法モデルに対して、キ・ファンまたは核ノルムの関数的アナロジーである2つの正則化ペナルティを提案する。
• 関数的部分微分法を用いて、反復的に関数推定値を更新するペナルティ付きバックフィットリングアルゴリズムの正当化を行う。
• 各バックフィットリング反復において、局所線形スムージングと特異値のソフトスレッショーディングを適用し、低ランク構造を強制する。
• 高次元スケーリング下での有限標本リスクバインディングを導出するために、スペクトルノルムの集中不等式を用いる。
• チューニングパラメータの選択に10分割交差検証を用い、モデルの複雑さと予測精度のバランスをとる。
• 線形仮定下で古典的低ランク回帰を回復できるように、ペナルティを特殊化する。

実験結果

リサーチクエスチョン

• RQ1 核ノルムは非パラメトリック関数推定に一般化可能であり、多変量加法モデルにおける低ランク構造を誘導できるか？
• RQ2 部分微分法を用いて、非パラメトリックな低ランク回帰に対するバックフィットリングアルゴリズムをどのように導出し、正当化できるか？
• RQ3 次第に増加する $ p $ および $ q $ を伴う高次元設定において、推定子の統計的スケーリング挙動はいかなるものか？
• RQ4 提案されたペナルティは、線形状態における古典的グループlassoおよび核ノルム正則化と比較してどのように異なるか？
• RQ5 本手法は、遺伝子発現や生化学的測定値などの実データにおいて、低ランク構造を回復できるか？

主な発見

• 適切な高次元スケーリング下で、標本サイズ $ n $、次元 $ p $、応答次元 $ q $ に対して、提案手法は有利にスケーリングされるオラクルリスクバインディングを達成する。
• ペナルティ1（関数的核ノルム）を用いたバックフィットリングアルゴリズムは、強い正則化下でランク1またはランク0の成分を生成し、各列ごとに明確なスケーリングを示す。
• ペナルティ2と交差検証による $ λ $ を用いた場合、遺伝子発現データのフィットはランク5を達成し、最大可能ランク27に対して顕著に低い値であった。
• 生化学的データでは、$ λ = 1 $ の正則化によりランク3の解が得られ、3つの応答変数（リン、リン酸イオン、クレアチニン）が互いにスケーリングされたバージョンであった。
• ペナルティ2の下で、実データにおける低ランク構造が成功裏に回復され、関数間で一貫したスケーリングパターンが観察された。
• 理論的分析により、$ n $、$ p $、$ q $ に関するスケーリング仮定の下で推定誤差が0に近づくことが確認され、手法の一貫性が裏付けられた。