[論文レビュー] Independently Interpretable Lasso: A New Regularizer for Sparse Regression with Uncorrelated Variables

Masaaki Takada, Taiji Suzuki+1 more|arXiv (Cornell University)|Nov 6, 2017

Statistical Methods and Inference参考文献 21被引用数 9

ひとこと要約

本稿では、活性化された変数同士の対比較相関係数のペナルティを組み込むことで、相関する特徴量の選択を抑える新しいスパース回帰正則化手法である、独立に解釈可能なlasso（IILasso）を提案する。非相関な活性化変数を促進することで、IILassoはモデルの解釈可能性と一般化性能を向上させ、lassoよりも緩い条件下で符号一貫性を達成し、ほぼミニマックス最適な推定誤差率を達成する。合成データおよび実際のマイクロアレイデータにおいて優れた性能を示す。

ABSTRACT

Sparse regularization such as $\ell_1$ regularization is a quite powerful and widely used strategy for high dimensional learning problems. The effectiveness of sparse regularization has been supported practically and theoretically by several studies. However, one of the biggest issues in sparse regularization is that its performance is quite sensitive to correlations between features. Ordinary $\ell_1$ regularization can select variables correlated with each other, which results in deterioration of not only its generalization error but also interpretability. In this paper, we propose a new regularization method, "Independently Interpretable Lasso" (IILasso). Our proposed regularizer suppresses selecting correlated variables, and thus each active variable independently affects the objective variable in the model. Hence, we can interpret regression coefficients intuitively and also improve the performance by avoiding overfitting. We analyze theoretical property of IILasso and show that the proposed method is much advantageous for its sign recovery and achieves almost minimax optimal convergence rate. Synthetic and real data analyses also indicate the effectiveness of IILasso.

研究の動機と目的

• 標準lassoにおける相関する特徴量の選択が原因となる解釈困難さと過学習の問題に対処すること。
• 選択された変数が互いに非相関であることを保証する正則化手法を開発し、回帰係数の独立的解釈を可能にすること。
• 高次元で相関する設計のもとで、特に符号回復と推定誤差の面で優れた統計的性能を達成すること。
• 変数グループ化などの事前処理ステップを必要とせず、強固な理論的保証を維持する手法を提供すること。

提案手法

• IILassoは、選択された（アクティブな）変数間の絶対相関係数の和をペナルティとする、画期的な正則化項を導入する。
• 非凸な目的関数を最適化するために座標降下法を用い、局所最適解への収束が保証される。
• ペナルティ項は、特に負の相関を持つ変数の選択を抑えるように設計されている。
• この定式化により、アクティブな変数に強いスパarsityを実現しながら、それらの間の相関を低く保つことができる。
• 線形回帰およびロジスティック回帰モデル、特に高次元設定にも適用可能である。
• 理論的分析により、すべての局所最適解がグローバル最適解と同等の収束速度を達成することが示され、非凸性にもかかわらず統計的効率性が保証される。

実験結果

リサーチクエスチョン

• RQ1 非相関なアクティブ変数を選択するようなスパース正則化手法を設計可能か？ これによりモデルの解釈性が向上するか？
• RQ2 真のアクティブ変数が非相関である場合に、標準lassoよりも緩い条件下で符号一貫性を達成できるか？
• RQ3 相関する特徴量を含む高次元設定でも、推定誤差の収束速度がほぼミニマックス最適に近い性能を達成できるか？
• RQ4 予測誤差、モデルサイズ、および実世界のデータにおける誤分類率の観点から、IILassoはlasso、SCAD、MCP、Elastic Netと比較してどのように性能を発揮するか？

主な発見

• 合成データでは、IILassoが予測誤差（1.45 ± 0.02）と推定誤差（1.40 ± 0.04）で最低を記録し、lasso、SCAD、MCP、EGLassoを上回った。
• IILassoのモデルサイズ（13.5 ± 0.23）は、lasso（34.1 ± 0.46）よりも顕著に小さく、MCPと同等のスパarsityを示した。
• 10個の実際のマイクロアレイデータセットにおいて、IILassoは誤分類誤差で10個中9個のケースで優れた性能を示し、対数尤度では10個中5個のケースで優れた性能を示した。これは、一般化性能に優れていることを示している。
• 10個のデータセットのうち6個でIILassoが最小のモデルサイズを達成し（1つの同率を含む）、5回で最小であった。これは強力なスパarsityを示している。
• 理論的分析により、真のアクティブ変数が非相関である場合に、IILassoはlassoよりも緩い条件下で符号一貫性を達成することが確認された。
• IILassoの目的関数のすべての局所最適解が、グローバル最適解と同等のオーダーの収束速度を達成しており、非凸性にもかかわらず統計的効率性が保証されている。