[論文レビュー] Forward-Backward Greedy Algorithms for General Convex Smooth Functions over A Cardinality Constraint

Ji Liu, Ryohei Fujimaki+1 more|arXiv (Cornell University)|Dec 31, 2013

Sparse and Compressive Sensing Techniques参考文献 25被引用数 39

ひとこと要約

本稿では、基数制約のもとで一般の滑らかな凸関数に対するスパース特徴選択のための前向き後向き勾配アルゴリズムを提案し、分析する。FoBa-gdt は、FoBa-obj よりもスケーラビリティを向上させる勾配情報を用いる。また、制限強凸性条件のもとで FoBa-gdt が FoBa-obj と同等の理論的性能を達成することを確立し、収束境界がスパarsity および次元数に対する標本サイズに依存することを示した。

ABSTRACT

We consider forward-backward greedy algorithms for solving sparse feature selection problems with general convex smooth functions. A state-of-the-art greedy method, the Forward-Backward greedy algorithm (FoBa-obj) requires to solve a large number of optimization problems, thus it is not scalable for large-size problems. The FoBa-gdt algorithm, which uses the gradient information for feature selection at each forward iteration, significantly improves the efficiency of FoBa-obj. In this paper, we systematically analyze the theoretical properties of both forward-backward greedy algorithms. Our main contributions are: 1) We derive better theoretical bounds than existing analyses regarding FoBa-obj for general smooth convex functions; 2) We show that FoBa-gdt achieves the same theoretical performance as FoBa-obj under the same condition: restricted strong convexity condition. Our new bounds are consistent with the bounds of a special case (least squares) and fills a previously existing theoretical gap for general convex smooth functions; 3) We show that the restricted strong convexity condition is satisfied if the number of independent samples is more than $\bar{k}\log d$ where $\bar{k}$ is the sparsity number and $d$ is the dimension of the variable; 4) We apply FoBa-gdt (with the conditional random field objective) to the sensor selection problem for human indoor activity recognition and our results show that FoBa-gdt outperforms other methods (including the ones based on forward greedy selection and L1-regularization).

研究の動機と目的

• FoBa-obj アルゴリズムのスケーラビリティの限界に対処する。このアルゴリズムは多数の最適化問題を解く必要がある。
• 勾配に基づく特徴選択を用いることで計算コストを低減するより効率的な勾配アルゴリズム FoBa-gdt を開発する。
• 一般の滑らかな凸関数に対して FoBa-obj および FoBa-gdt の理論的バインディングをより厳密に導出する。
• 制限強凸性条件が成り立つ条件を特定し、標本サイズとスパarsity および次元数の関係を結びつける。
• センサ選択を用いた人間の行動認識応用など、実世界の応用において FoBa-gdt が優れた性能を示すことを実証する。

提案手法

• FoBa-gdt を提案する。これは前向き段階で勾配情報を用いて特徴を選択する前向き後向き勾配アルゴリズムであり、FoBa-obj よりも効率的である。
• 特徴プールに誤った特徴が含まれる数を制御するため、補題 3 および 7 を用いた新しい後向きステップの分析を導入する。
• 勾配および曲率（ρ−(1), ρ+(1)）の性質を用いて、目的関数の減少に関する理論的バインディングを導出する。
• 標本数が $\bar{k}\log d$ を超えるとき、制限強凸性条件が高確率で成り立つことを確立する。ここで $\bar{k}$ はスパarsity、$d$ は次元である。
• 室内行動認識のセンサ選択タスクにおいて、条件付きランダムフィールドの目的関数に FoBa-gdt アルゴリズムを適用する。
• 実際の応用、特に実世界の設定では、スパarsity のレベルまたは δ および ε の事前定義されたしきい値に基づく停止基準を用いる。

実験結果

リサーチクエスチョン

• RQ1 FoBa-gdt は、大幅にスケーラブルである一方で、FoBa-obj と同等の理論的性能を達成できるか？
• RQ2 一般の滑らかな凸関数の下で、FoBa-obj および FoBa-gdt の目的関数の減少に関する理論的バインディングはどのように導出できるか？
• RQ3 一般の凸滑らかな関数に対して、制限強凸性条件が成り立つ条件は何か？
• RQ4 標本サイズが、スパarsity および次元数を満たすために、制限強凸性条件を保証するためにどのように関係するか？
• RQ5 FoBa-gdt は、前向き勾配選択や L1 正則化法と比較して、実世界のスパース学習タスクで優れた性能を示すか？

主な発見

• 制限強凸性条件のもとで、FoBa-gdt は FoBa-obj と同等の理論的性能を達成し、計算効率が著しく向上している。
• FoBa-obj の理論的バインディングは、従来の分析と比較して改善されており、特に一般の滑らかな凸関数に対して顕著である。
• 標本数が $\bar{k}\log d$ を超えるとき、制限強凸性条件は高確率で成り立つ。ここで $\bar{k}$ はスパarsity、$d$ は次元である。
• 条件数 $\kappa$ がヘシアンに関連するとき、アルゴリズムは高確率で $O(\kappa^2(\sqrt{\kappa}+1)^2(\bar{k}+1))$ 回の反復内で終了する。
• 人間の室内行動認識のためのセンサ選択に関する実験結果から、FoBa-gdt は前向き勾配選択および L1 正則化法を上回ることを示した。
• FoBa-gdt における勾配に基づく特徴選択により、各反復で多数の部分問題を解く必要がなくなり、大規模問題へのスケーラビリティが実現された。