[論文レビュー] Strong NP-Hardness Result for Regularized $L_q$-Minimization Problems with Concave Penalty Functions.

Dongdong Ge, Zizhuo Wang+2 more|arXiv (Cornell University)|Jan 4, 2015

Optimization and Packing Problems被引用数 5

ひとこと要約

この論文は、零に近い部分で非線形な凹関数を用いた正則化 $L_q$-最小化が強くNP困難であることを確立しており、P = NP でない限り完全多項式時間近似スキーム（FPTAS）は存在しないことを示している。この結果により、圧縮センシングおよび機械学習分野における広範なスパース最適化問題の計算複雑性が解明された。

ABSTRACT

In this note, we consider the regularize $L_q$-minimization problem ($q\ge 1$) with a general penalty function. We show that if the penalty function is concave but not linear in a neighborhood of zero, then the optimization problem is strongly NP-hard. This result answers the complexity of many regularized optimization problems studied in the literature. It implies that it is impossible to have a fully polynomial-time approximation scheme (FPTAS) for a large class of regularization problems unless P = NP.

研究の動機と目的

• 一般の凹関数を用いた正則化 $L_q$-最小化の計算複雑性を特定すること。
• このような問題に対して効率的な近似スキームが存在するかどうかを明確にすること。
• 信号処理および機械学習分野で広く用いられるスパース回復および正則化手法の複雑性状態を解明すること。

提案手法

• 零に近い部分で凹的だが線形でないペナルティ関数を有する $L_q$-最小化問題の構造を分析する。
• 既知の強力NP困難問題（例：部分和問題やナップサック問題）を、正則化 $L_q$-最小化問題に還元する。
• 凹ペナルティ関数の性質を用いて、最適化問題が元のNP困難問題の難易度を引き継ぐことを示す。
• このような問題に対して完全多項式時間近似スキーム（FPTAS）が存在しないことを示す。
• ペナルティ関数の零付近での挙動に基づいて、複雑性理論のツールを用いて強力NP困難性を確立する。
• 一般の $q \geq 1$ に対して結果を確立し、広範な正則化モデルのクラスをカバーする。

実験結果

リサーチクエスチョン

• RQ1 零に近い部分で非線形な凹関数を用いた正則化 $L_q$-最小化は計算的に扱いやすいか？
• RQ2 このような問題に対して完全多項式時間近似スキーム（FPTAS）を設計できるか？
• RQ3 凹関数ペナルティを用いたスパース最適化問題の複雑性状態は何か？
• RQ4 零に近い部分でのペナルティ関数の非線形性が問題の難易度に影響を与えるか？
• RQ5 これらの問題を効率的に近似する上で根本的な制限はあるか？

主な発見

• 零に近い部分で線形でない凹関数ペナルティを有する正則化 $L_q$-最小化問題は、強力NP困難である。
• この困難性の結果はすべての $q \geq 1$ に対して成り立ち、広範な正則化モデルをカバーする。
• この問題は、P = NP でない限り完全多項式時間近似スキーム（FPTAS）を有しない。
• この結果は、文献で広く研究されている多くのスパース回復および圧縮センシング問題に適用可能である。
• 零付近でのペナルティの非線形性が強力NP困難性を引き起こす主要因である。
• 本研究の結果により、このような正則化問題の複雑性に関する長年の未解決問題が解決された。