[論文レビュー] Safe Screening for Multi-Task Feature Learning with Multiple Data Matrices

Jie Wang, Jieping Ye|arXiv (Cornell University)|May 15, 2015

Sparse and Compressive Sensing Techniques参考文献 39被引用数 9

ひとこと要約

本稿では、複数のデータ行列を用いたマルチタスク特徴選択のための新しい安全スクリーニングルール、DPC（Dual Projection onto Convex Sets）を提案する。双対問題の幾何的性質を活用し、非凸なスクリーニング条件を二次制約付き二次計画問題（QCQP）に再定式化することで、すべてのタスクにおいて係数がゼロである特徴（非活性特徴）を効率的に同定する。これにより、精度を損なわずに計算コストを大幅に削減でき、特に高次元設定において顕著な効果を示す。

ABSTRACT

Multi-task feature learning (MTFL) is a powerful technique in boosting the predictive performance by learning multiple related classification/regression/clustering tasks simultaneously. However, solving the MTFL problem remains challenging when the feature dimension is extremely large. In this paper, we propose a novel screening rule---that is based on the dual projection onto convex sets (DPC)---to quickly identify the inactive features---that have zero coefficients in the solution vectors across all tasks. One of the appealing features of DPC is that: it is safe in the sense that the detected inactive features are guaranteed to have zero coefficients in the solution vectors across all tasks. Thus, by removing the inactive features from the training phase, we may have substantial savings in the computational cost and memory usage without sacrificing accuracy. To the best of our knowledge, it is the first screening rule that is applicable to sparse models with multiple data matrices. A key challenge in deriving DPC is to solve a nonconvex problem. We show that we can solve for the global optimum efficiently via a properly chosen parametrization of the constraint set. Moreover, DPC has very low computational cost and can be integrated with any existing solvers. We have evaluated the proposed DPC rule on both synthetic and real data sets. The experiments indicate that DPC is very effective in identifying the inactive features---especially for high dimensional data---which leads to a speedup up to several orders of magnitude.

研究の動機と目的

• 非常に高次元な特徴空間を有するマルチタスク特徴選択（MTFL）問題を解く際の計算課題に対処すること。
• 最適化の前段階で、すべてのタスクにおいて係数がゼロである特徴（非活性特徴）を安全に特定・削除できるスクリーニングルールを開発すること。
• 単一のデータ行列にのみ適用可能な従来のスクリーニング手法を、MTFLに内在する複数の行列設定に拡張すること。
• スクリーニングルールが証明可能に安全（正しい特徴が削除されない）であり、同時に計算オーバーヘッドが低いことを保証すること。
• 基盤となる最適化アルゴリズムを変更せずに、任意の既存のMTFLソルバーと統合可能であるようにすること。

提案手法

• 複数のデータ行列を用いたMTFLモデルの双対問題を定式化し、内積の双線形性を活用して幾何的構造を明らかにする。
• 双対可能解集合を凸集合と定義し、双対最適解をこの集合へのベクトルの射影として特定する。
• 非凸なスクリーニング条件（凸関数を凸集合上で最大化する問題）を、制約集合の適切なパrameter化により二次制約付き二次計画問題（QCQP）に変換する。
• 得られたQCQPを効率的に解き、グローバル最適解を特定することで、スクリーニングルールが安全かつ計算的に軽量であることを保証する。
• 解を用いて、最終解において係数がゼロであることが保証される特徴を安全に訓練データから削除可能であることを特定する。
• 標準的なMTFLソルバーに影響を与えることなく、任意のソルバーと統合可能な前処理ステップとしてスクリーニングルールを統合する。

実験結果

リサーチクエスチョン

• RQ1 単一のデータ行列ではなく、複数のデータ行列を用いるマルチタスク特徴選択モデルに対して、安全なスクリーニングルールを開発できるか？
• RQ2 双対問題に由来する非凸なスクリーニング条件を、解ける凸最適化問題にどのように変換できるか？
• RQ3 双対可能解集合のどの幾何的性質を活用すれば、スクリーニングルールを効率的かつ証明可能に安全に保てるか？
• RQ4 高次元データにおいて、提案されたDPCルールの性能は特徴次元の増加に伴いどのようにスケーリングするか？
• RQ5 実世界のMTFL応用において、DPCは解の精度を損なわずに、計算コストとメモリ使用量をどの程度削減できるか？

主な発見

• DPCは非活性特徴を100%の安全性で同定し、解において係数がゼロである特徴が誤って削除されることはない。
• 合成データおよび実世界のデータセットにおいて、特に高次元設定で数個のオーダーの高速化を達成した。
• 特徴数が極めて大きい場合でも有効であり、次元が高くなるほど性能が向上する傾向を示した。
• DPCルールは、任意の既存のMTFLソルバーとシームレスに統合可能であり、最小限のオーバーヘッドで顕著な計算コスト削減を実現した。
• 提案されたQCQP再定式化により、非凸性の課題を克服し、スクリーニング条件の効率的かつグローバルな最適化が可能となった。
• 実験結果から、DPCは高次元データにおいて、特徴削除率と計算効率の両面で既存のスクリーニング手法を上回った。