[論文レビュー] A Cluster Elastic Net for Multivariate Regression

Bradley S. Price, Ben Sherwood|arXiv (Cornell University)|Jul 12, 2017

Advanced Statistical Methods and Models被引用数 7

ひとこと要約

本稿では、クラスターフュージョンとL1ペナルティを組み合わせた罰則付き尤度を用いて、多変量回帰における回帰係数と応答変数のクラスタリングを同時に推定するクラスターエラスティックネット手法を提案する。この手法は予測精度を向上させるとともに応答変数間の関係を明らかにし、高次元設定（p ≫ n）に対して理論的保証を提供する。さらに、座標降下法と近位射影法を用いて二項応答への拡張も可能である。

ABSTRACT

We propose a method for estimating coefficients in multivariate regression when there is a clustering structure to the response variables. The proposed method includes a fusion penalty, to shrink the difference in fitted values from responses in the same cluster, and an L1 penalty for simultaneous variable selection and estimation. The method can be used when the grouping structure of the response variables is known or unknown. When the clustering structure is unknown the method will simultaneously estimate the clusters of the response and the regression coefficients. Theoretical results are presented for the penalized least squares case, including asymptotic results allowing for p >> n. We extend our method to the setting where the responses are binomial variables. We propose a coordinate descent algorithm for both the normal and binomial likelihood, which can easily be extended to other generalized linear model (GLM) settings. Simulations and data examples from business operations and genomics are presented to show the merits of both the least squares and binomial methods.

研究の動機と目的

• 多変量回帰において回帰係数と応答変数のクラスタリングを同時に推定することで、予測精度を向上させる手法の開発。
• 同一クラスタ内の応答の予測値をクラスターフュージョンペナルティで縮小しつつ、L1ペナルティによる変数選択を統合する。
• 高次元設定（p ≫ n）において、罰則付き最小二乗推定量の理論的一貫性結果を提供する。
• 特に遺伝学やビジネスオペレーション分野への応用を想定し、二項応答を含む一般化線形モデルへの拡張。
• 計算効率の良いアルゴリズムの設計—正規応答には座標降下法、二項応答には近位勾配降下法を採用し、スケーラビリティと並列処理を実現する。

提案手法

• クラスターフュージョンペナルティにより、同一クラスタ内における応答の予測値の差を縮小し、L1ペナルティにより同時に変数選択と推定を実現する罰則付き尤度推定量を提案する。
• k-meansクラスタリングと固定クラスタ下での罰則付き尤度の最適化を交互に繰り返す2段階反復アルゴリズムを採用し、クラスターフュージョンペナルティにより並列計算が可能となる。
• 正規尤度に対しては座標降下法、二項尤度に対しては近位勾配降下法を用い、両者とも他のGLM設定へ容易に拡張可能である。
• 最小二乗法の理論的結果を導出する。特に、スパarsity仮定と制限固有値条件を仮定した高次元漸近的設定（p ≫ n）において、一貫性と誤差バウンドを示す。
• 正規応答と二項応答の両モデルに適用し、推定誤差とクラスタ回復に関する理論的保証を提示する。
• 行列表記を用い、X ∈ ℝ^{n×p}、Y ∈ ℝ^{n×r}、係数行列B* ∈ ℝ^{p×r}を定義する。クラスターフュージョンペナルティは、同一クラスタ内における応答間の予測値の差に作用する。

実験結果

リサーチクエスチョン

• RQ1 応答変数のクラスタリングと回帰係数の同時推定は、多変量回帰における予測精度を向上させることができるか？
• RQ2 高次元設定（p ≫ n）において、罰則付き尤度枠組みが、同時に変数選択と応答のクラスターフュージョンをどのように実現できるか？
• RQ3 高次元漸近的設定下での推定量の理論的性質、特に一貫性と推定誤差バウンドは何か？
• RQ4 この手法は一般化線形モデル、特に二項応答へ拡張可能か？その拡張を支えるアルゴリズム的手法は何か？
• RQ5 実世界の遺伝学的およびビジネスオペレーション分野のデータにおいて、真の応答クラスタの回復と関連予測変数の同定はどの程度有効か？

主な発見

• 高次元漸近的設定（p ≫ n）において、回帰係数の推定が一貫的であり、高確率で推定誤差がO(√(s log(rp)/n))のバウンドで抑えられる。
• 理論的解析により、チューニングパrameterが適切に選ばれ、設計行列が制限固有値条件を満たす場合、真のクラスタ構造が高確率で回復されることが示された。
• 二項応答の場合、近位勾配降下法は収束を示し、クラスタリングされた応答に対するロジスティック回帰への応用が可能である。
• シミュレーションでは、標準的な多変量回帰や個別Lassoモデルと比較して、より高い予測精度と優れた変数選択性能が確認された。
• 遺伝学的およびビジネスオペレーション分野の実データ例では、生物学的または業務的に意味のある応答クラスタを同定し、より良いモデル適合を達成した。
• 2段階アルゴリズムはクラスターフュージョンペナルティのおかげで並列計算に優れた性質を示し、大規模データセットへのスケーラブルな実装が可能である。