[論文レビュー] Finding Alternate Features in Lasso

Satoshi Hara, Takanori Maehara|arXiv (Cornell University)|Nov 18, 2016

Italy: Economic History and Contemporary Issues参考文献 4被引用数 4

ひとこと要約

本稿では、lassoが選択しないがモデル解釈性において潜在的に関連性のある代替特徴を同定する手法を提案する。lassoが選択した特徴と高い相関を持つ特徴について、1変数最適化問題を効率的に解くことで、同等のモデル性能を維持する代替特徴（サーヴィレート特徴）を明らかにすることで、高次元データ（例：テキスト分類）におけるユーザーフレンドリーな信頼性とカスタマイズ性を向上させる。

ABSTRACT

We propose a method for finding alternate features missing in the Lasso optimal solution. In ordinary Lasso problem, one global optimum is obtained and the resulting features are interpreted as task-relevant features. However, this can overlook possibly relevant features not selected by the Lasso. With the proposed method, we can provide not only the Lasso optimal solution but also possible alternate features to the Lasso solution. We show that such alternate features can be computed efficiently by avoiding redundant computations. We also demonstrate how the proposed method works in the 20 newsgroup data, which shows that reasonable features are found as alternate features.

研究の動機と目的

• スパarsityと相関の影響により、lassoが関連する特徴を漏れさせるという限界を是正すること。特に高次元データにおいて。
• lassoが選択した特徴に代わる代替特徴を提供し、モデル性能を損なわずに代替可能であることを保証すること。
• 分野の専門知識と整合するが、標準的なlassoによって見過ごされた特徴を明らかにすることで、モデルの解釈性とユーザーフレンドリー性を向上させること。
• すべての非選択特徴に対して再計算を繰り返さない、効率的な計算フレームワークを構築すること。

提案手法

• 各lasso選択特徴 $x_i$ に対して、非選択特徴 $x_j$ が代替として機能するかを評価する。この際、$\beta_i = 0$ を固定し、lasso目的関数における $\beta_j$ の最適化を実行する。
• 各 $x_j$ に対する最適化問題は1変数問題に簡略化される：$\beta_j^{(i)} = \arg\min_{\beta_j} f(z^{(i)} + X_j\beta_j, y) + \rho|\beta_j|$、ここで $z^{(i)}$ は他のすべての特徴からの残差である。
• フィルタリングステップにより、$|X_j^T \nabla f(z^{(i)}, y)| \leq \rho$ である場合は $x_j$ の最適化をスキップすることで、無駄な計算を回避する。
• 代替特徴のスコアは、lasso目的関数の増加分に基づいて算出される：$\text{score}(x_i \to x_j) = L(\beta^{i\to j}) - L(\beta^*)$、低値であるほど関連性が高いことを示す。
• 特徴ペアの関係を可視化するため、二部グラフを用いた可視化手法を導入し、選択された特徴と代替特徴の関係を探索可能にする。
• 本手法は20 Newsgroupsデータセットを用いて検証され、全450,000組の潜在的ペアのうち、わずか53組のみが完全な最適化を必要とし、計算量が10,000倍削減された。

実験結果

リサーチクエスチョン

• RQ1 lassoが選択した特徴の代替として有効な非選択特徴を、フルモデルの再訓練なしに効率的に同定できるか？
• RQ2 lassoが選択した特徴と関連する代替特徴の関連性を、モデル性能と解釈可能性を反映する形でどのように測定できるか？
• RQ3 すべての非選択特徴に対して1変数最適化を実行するのを避けるために、どのような計算最適化を適用できるか？
• RQ4 本手法が同定する代替特徴は、実世界のテキスト分類タスクにおいて、分野の知識とどのように一致するか？
• RQ5 本手法は、モデル一般化性能を損なう「誤った特徴（例：署名語）」を検出し、排除するのを支援できるか？

主な発見

• 本手法により、ibm.pc.hardware 対 mac.hardware タスクにおいて、最適化の必要があった組み合わせ数が約450,000からわずか53にまで削減され、計算量が10,000倍減少した。
• sci.med 対 sci.space タスクでは、単語 'gordon' が主に sci.med での繰り返し署名に関連していることが同定され、その代替特徴も主にその署名から抽出された。
• 単語 'space' の上位スコアの代替特徴は 'shuttle' であり、sci.space カテゴリと強く関連しており、本手法が意味的に整合性のある代替特徴を正しく検出できることを裏付けている。
• 本手法により、'drive'、'bios'、'windows' が互いに代替特徴として同定され、いずれもIBM PCハードウェアに関連しており、分野の専門知識と整合していることが示された。
• 目的関数の増加分に基づくスコアリングにより、意味的に整合性のある代替特徴が高くランク付けされ、無関係または誤った特徴をフィルタリング可能となった。
• 特徴ペアの二部グラフ可視化により、意味的なクラスタ（例：Mac製品名（例：Centris 610）やWindows関連語）が明確に可視化され、本手法の解釈可能性の向上を裏付けた。