[論文レビュー] Binarsity: a penalization for one-hot encoded features in linear supervised learning

Mokhtar Z. Alaya, Simon Bussy+2 more|arXiv (Cornell University)|Mar 24, 2017

Sparse and Compressive Sensing Techniques参考文献 49被引用数 6

ひとこと要約

この論文は、線形教師あり学習におけるワンホットエンコーディングされた連続特徴量に対する新しいペナルティ手法Binarsityを提案する。グループ全変動正則化と各特徴量グループごとの線形制約を組み合わせることで、区分的定数でブロックスパースなモデル重みを誘導し、同時に特徴量選択とカットポイント検出を可能にする。スパース加法的モデルの下で最適な収束速度を達成し、L1正則化と同等の計算複雑性で最先端の性能を達成する。

ABSTRACT

This paper deals with the problem of large-scale linear supervised learning in settings where a large number of continuous features are available. We propose to combine the well-known trick of one-hot encoding of continuous features with a new penalization called \emph{binarsity}. In each group of binary features coming from the one-hot encoding of a single raw continuous feature, this penalization uses total-variation regularization together with an extra linear constraint. This induces two interesting properties on the model weights of the one-hot encoded features: they are piecewise constant, and are eventually block sparse. Non-asymptotic oracle inequalities for generalized linear models are proposed. Moreover, under a sparse additive model assumption, we prove that our procedure matches the state-of-the-art in this setting. Numerical experiments illustrate the good performances of our approach on several datasets. It is also noteworthy that our method has a numerical complexity comparable to standard $\ell_1$ penalization.

研究の動機と目的

• 連続特徴量を用いた高次元線形モデルにおける過学習を改善するため、特徴量エンコーディングの向上を図ること。
• 構造的正則化を通じて、連続特徴量における同時に特徴量選択と最適なカットポイント検出を可能にすること。
• ワンホットエンコーディングと全変動正則化を組み合わせることで、モデルの柔軟性と解釈可能性を向上する手法の開発。
• スパース加法的仮定の下で一般化線形モデルに対する非漸近的オラクル不等式と収束速度の確立。

提案手法

• ワンホットエンコーディングされた特徴量にグループ全変動正則化を適用するBinarsityというペナルティを提案する。
• 各特徴量グループごとに追加の線形制約を課し、共線性を排除するとともにブロックスパース性を強制する。
• 計算複雑性がL1正則化と同等となるように、効率的なプロキシマルアルゴリズムを用いて最適化問題を解く。
• 一般化線形モデルにこのペナルティを適用し、各特徴量ごとに区分的定数な意思決定関数を可能にする。
• 各連続特徴量を区間に分割し、各区間をバイナリ特徴量としてエンコーディングする離散化スキームを採用する。
• スパース加法的モデル仮定の下でオラクル不等式と収束速度を導出し、高次元設定における最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 構造的ペナルティは、ワンホットエンコーディングされた連続特徴量を用いた線形モデルにおける一般化性能を向上させ得るか？
• RQ2 全変動正則化と線形制約を組み合わせることで、標準的なL1正則化よりも優れた特徴量選択とカットポイント検出が達成できるか？
• RQ3 提案手法は、連続特徴量を伴うスパース加法的モデルで最適な収束速度を達成できるか？
• RQ4 実際の応用において、Binarsityの計算複雑性は標準的なL1正則化手法と比較してどの程度か？
• RQ5 Binarsityが誘導するブロックスパース構造は、実世界のデータセットにおける関連特徴量と区間の同定に有効であるか？

主な発見

• スパース加法的モデルの下でBinarsityは最適な収束速度を達成し、この設定で最先端の性能を再現する。
• 各特徴量ごとに区分的定数な意思決定関数を誘導し、線形関係を超える柔軟なモデリングを可能にする。
• ブロックスパース構造により、ある特徴量グループのすべての重みが等しい場合、そのグループ全体がゼロに設定されるため、元の特徴量の選択が可能になる。
• 非漸近的オラクル不等式が確立され、予測リスクが真のスパース性とモデルの複雑さに依存する項によって上限づけられていることが示された。
• 数値実験により、複数のデータセットで優れた経験的性能が確認され、L1正則化と同等の計算コストを示した。
• 予測誤差の上限が $ \frac{L^2 | abla_*|^2}{D^2} + \frac{\sigma^2 D | abla_*| M_n (A + \log(DpM_n)))}{n} $ のオーダーで与えられ、$ D = n^{1/3} $ であることから、最適な収束速度が確認された。