[論文レビュー] Graph-based regularization for regression problems with alignment and highly-correlated designs

Yuan Li, Benjamin Mark+4 more|arXiv (Cornell University)|Mar 20, 2018

Statistical Methods and Inference参考文献 61被引用数 4

ひとこと要約

本稿は、高い相関を持つ設計行列を伴う高次元線形回帰に対して、共分散グラフを用いて特徴量の相関と回帰係数の類似性を一致させるグラフベースの全変動（GTV）正則化手法を提案する。この手法は、ブロック型および格子型グラフを含む多様なグラフ構造において最適な平均二乗誤差の保証を達成し、合成データおよび実際の生物学化学データにおいて既存手法を上回る性能を示す。

ABSTRACT

Sparse models for high-dimensional linear regression and machine learning have received substantial attention over the past two decades. Model selection, or determining which features or covariates are the best explanatory variables, is critical to the interpretability of a learned model. Much of the current literature assumes that covariates are only mildly correlated. However, in many modern applications covariates are highly correlated and do not exhibit key properties (such as the restricted eigenvalue condition, restricted isometry property, or other related assumptions). This work considers a high-dimensional regression setting in which a graph governs both correlations among the covariates and the similarity among regression coefficients -- meaning there is \emph{alignment} between the covariates and regression coefficients. Using side information about the strength of correlations among features, we form a graph with edge weights corresponding to pairwise covariances. This graph is used to define a graph total variation regularizer that promotes similar weights for correlated features. This work shows how the proposed graph-based regularization yields mean-squared error guarantees for a broad range of covariance graph structures. These guarantees are optimal for many specific covariance graphs, including block and lattice graphs. Our proposed approach outperforms other methods for highly-correlated design in a variety of experiments on synthetic data and real biochemistry data.

研究の動機と目的

• 特徴量間に高い相関が見られる場合に、制限固有値条件などの標準的な正則性仮定が満たされない高次元回帰の課題に対処すること。
• 特徴量の相関と係数の類似性に関する構造的補足情報を取り入れることで、高い相関を持つ設計行列における同定可能性の問題を克服すること。
• 特徴量間のペアワイズ共分散から導かれるグラフを活用し、相関する特徴量において推定係数の滑らかさを促進する正則化フレームワークを構築すること。
• 特徴量の相関構造と係数構造の間の新しい一致条件を提示し、その下で提案手法の理論的平均二乗誤差保証を確立すること。
• 合成データおよび実世界の生物学化学データセット（特徴量が高次元かつ相関が強い）において、既存手法と比較して本手法の経験的優位性を示すこと。

提案手法

• 設計行列の標本共分散行列から重み付きグラフを構築し、エッジの重みを特徴量間のペアワイズ共分散で表す。
• グラフ全変動（GTV）正則化項を定義し、グラフ内で接続されたノード間の回帰係数の差をペナルティ化することで、相関する特徴量に対して類似性を促進する。
• GTVペナルティを含む正則化最小二乗回帰として最適化問題を定式化し、スパースかつ構造的な係数推定を可能にする。
• 真の係数ベクトル β* が特徴量の相関構造と同じグラフ構造を満たすことを保証する一致条件を導入し、同定可能性の問題を解消する。
• 一致条件の下でGTV推定量の理論的平均二乗誤差バウンドを導出し、ブロック型および格子型グラフ構造において最適性が保証されることを示す。
• 付録でロジスティック回帰への拡張を提示し、ガウスノイズモデルに限定されない幅広い適用可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 特徴量が高次元かつ相関が強く、標準的な正則性条件が成立しない状況下で、グラフベース正則化が推定精度を向上させることができるか？
• RQ2 共分散から導かれるグラフ構造を正則化プロセスに組み込むと、推定量の理論的誤差バウンドにどのような影響を与えるか？
• RQ3 特徴量の相関構造と係数構造との一致が、モデルの同定可能性および性能にどの程度寄与するか？
• RQ4 さまざまなタイプのグラフ構造を持つ共分散行列に対して、GTV推定量の理論的平均二乗誤差保証はどのようなものか？
• RQ5 合成データおよび実世界の高次元かつ相関の強い特徴量を伴うデータセットにおいて、予測精度の観点から本手法は既存手法をどの程度上回るか？

主な発見

• 提案されたグラフ全変動（GTV）正則化は、ブロック型および格子型グラフを含む広範な共分散グラフ構造に対して最適な平均二乗誤差レートを達成する。
• 理論的解析により、GTV推定量が提示された一致条件の下で、制限固有値条件や等長性を満たさない設計行列に対しても最小最大最適誤差レートを達成することが示された。
• 合成データにおける経験的結果から、GTVは高相関下でもLasso、グループLasso、および融合Lassoを著しく上回る推定精度を達成した。
• 242個のキメラP450タンパク質を含む実際の生物学化学データでは、特徴量が高次元かつ相関が強い状況下でも、GTVは予測誤差が低く、係数回復性能がベースライン手法を上回った。
• 本手法は特徴量の相関に関する補足情報を効果的に活用し、高次元設定におけるモデルの解釈可能性とロバスト性を向上させた。
• 付録でのロジスティック回帰への拡張により、GTVフレームワークがガウスノイズモデルに限定されず、非ガウス応答モデルに対しても適応可能であることが示された。