[論文レビュー] Screening Rules for Overlapping Group Lasso

Seunghak Lee, Eric P. Xing|arXiv (Cornell University)|Oct 25, 2014

Statistical Methods and Inference参考文献 25被引用数 9

ひとこと要約

本稿では、重複するグループlassoにおける正確なスクリーニング規則を提案し、デュアルポリトープ射影を用いて包含的重複グループに限定して、係数がゼロであるグループを効率的に除外することを可能にする。この手法により、重複があってもグループごとに独立してスクリーニングが可能となり、実際の応用において非重複グループlasso規則を上回る性能を示し、PIE画像データセットでは最大3.7倍の高速化を達成した。

ABSTRACT

Recently, to solve large-scale lasso and group lasso problems, screening rules have been developed, the goal of which is to reduce the problem size by efficiently discarding zero coefficients using simple rules independently of the others. However, screening for overlapping group lasso remains an open challenge because the overlaps between groups make it infeasible to test each group independently. In this paper, we develop screening rules for overlapping group lasso. To address the challenge arising from groups with overlaps, we take into account overlapping groups only if they are inclusive of the group being tested, and then we derive screening rules, adopting the dual polytope projection approach. This strategy allows us to screen each group independently of each other. In our experiments, we demonstrate the efficiency of our screening rules on various datasets.

研究の動機と目的

• 重複するグループlassoにおけるスクリーニングの課題に取り組む。これは、グループの重複がグループの独立したテストを困難にするためである。
• 真の非ゼロ係数が除外されないよう、最適性を保証する正確なスクリーニング規則を開発する。
• 最適化の前段階で係数がゼロであるグループを特定・削除することで、問題サイズの効率的削減を実現する。
• スクリーニング中に考慮する重複グループを包含的グループに限定することで、デュアルポリトープ射影（DPP）規則を重複グループlassoに拡張する。
• 提案された規則が、非重複グループlassoスクリーニングに比べて、特徴量の除外効率において顕著に優れていることを実証する。

提案手法

• 本手法は、重複グループlasso問題のデュアル解に基づき、デュアルポリトープ射影（DPP）を用いてスクリーニング規則を導出する。
• スクリーニングの際、テスト中のグループの部分集合であるグループ（包含的グループ）にのみ注目することで、グループごとの独立スクリーニングを可能にする。
• スクリーニング条件は、包含的グループにおける残差ベクトルの最小ノルムが、グループサイズとデュアル変数の変化を含むしきい値未満であるかどうかをチェックする。
• 主な規則は、Minkowskiの不等式およびコーシー・シュワルツの不等式を用いて、デュアル残差の下界を計算し、グループ係数がゼロであることを評価する。
• スクリーニング後に生存するグループのみを用いて元の問題を再定式化することで、計算コストを低減する。
• 本手法はスパース重複グループlassoへと拡張され、グループDPP（GDPP）規則との実験的比較により検証された。

実験結果

リサーチクエスチョン

• RQ1 重複するグループlassoにおいて、グループの重複がグループの独立テストを妨げるため、正確なスクリーニング規則を開発することは可能か？
• RQ2 デュアルポリトープ射影（DPP）フレームワークは、グループlasso問題における重複グループをどのように扱うことができるか？
• RQ3 スクリーニングを包含的重複グループに限定することで、正確性が保たれるとともに、非重複規則に比べて効率性が向上するか？
• RQ4 提案されたスクリーニング規則は、実世界のデータセットにおいて問題サイズをどの程度削減し、最適化をどの程度高速化できるか？
• RQ5 提案された規則は、既存の非重複グループlassoスクリーニング規則と比較して、速度および除外効率の面でどの程度優れているか？

主な発見

• 提案された重複グループlassoスクリーニング（OLS）およびスパース重複グループlassoスクリーニング（SOLS）規則は正確であり、真の非ゼロ係数が除外されないことを保証する。
• OLSは、非スクリーニングの重複グループlassoソルバーよりもPIE画像データセットで3.7倍の高速化を達成した。
• SOLSは同じデータセットで3倍の高速化を達成し、実用的環境における効率性の向上を確認した。
• さまざまな実験設定において、OLSおよびSOLS規則はグループDPP（GDPP）規則を上回り、係数がゼロのグループの除外効率に優れている。
• 包含的重複グループにのみ注目することで、グループごとの独立スクリーニングが可能となり、正確性を維持しながらスケーラビリティが向上した。
• 理論的分析により、スクリーニング条件が、デュアル変数の近接性とグループ構造に基づいて、グループ係数がゼロであるための十分条件であることが確認された。