[論文レビュー] Combinatorial Penalties: Which structures are preserved by convex relaxations?

Marwa El Halabi, Francis Bach+1 more|Infoscience (Ecole Polytechnique Fédérale de Lausanne)|Oct 17, 2017

Statistical Methods and Inference参考文献 4被引用数 6

ひとこと要約

本稿は、構造的スパarsityにおける組合せペナルティの非同次凸緩和枠組みを導入し、同次緩和よりも広いクラスの単調集合関数を保存することを示している。非同次緩和よりも強い支持回復のための十分条件を備えた適応推定器を提案し、非正則性仮定を必要とせず、数値実験で標準Lassoや他の凸緩和よりも優れた支持回復を示している。

ABSTRACT

We consider the homogeneous and the non-homogeneous convex relaxations for combinatorial penalty functions defined on support sets. Our study identifies key differences in the tightness of the resulting relaxations through the notion of the lower combinatorial envelope of a set-function along with new necessary conditions for support identification. We then propose a general adaptive estimator for convex monotone regularizers, and derive new sufficient conditions for support recovery in the asymptotic setting.

研究の動機と目的

• 非同次凸緩和が同次緩和と比較して、どの組合せ構造を保存するかを理解すること。
• 一般の凸ペナルティを用いた正則化学習におけるサポート回復の必要十分条件を導出すること。
• 非正則性仮定を必要とせず、漸近的条件下でサポート回復を保証する適応的重み推定スキームを開発すること。
• 凸緩和が信頼性のあるサポート回復を可能にするために、組合せペナルティに必要な十分条件を同定すること。
• 非同次緩和と適応的重みの優位性を数値的に検証すること、特にサポート回復性能における優位性を確認すること。

提案手法

• 下位組合せ包絡概念を用いて、ℓp-正則化組合せペナルティの最もタイトな非同次凸緩和を定式化する。
• Fenchel-Legendre共役と単調集合関数の凸緩和を特徴付けるために、部分加法的解析を用いる。
• 初期最小二乗推定値に基づく適応的重みスキームを提案し、重みを |w⁰|^{α−1}（α ∈ (0,1)）に比例させる。
• 安定性および部分微分可能性解析を用いて、漸近的領域におけるサポート回復の十分条件を導出する。
• 区間制約付きの二次計画法を用いて、特定の緩和（例：範囲関数のΘ∞r）を実装する。
• 相関のあるおよびi.i.d.な設計行列を用いた回帰における数値実験を通じて結果を検証し、ハミング距離と最小二乗誤差を測定する。

実験結果

リサーチクエスチョン

• RQ1 非同次凸緩和は同次緩和と比較して、どの組合せ構造を保存するか？
• RQ2 一般の凸ペナルティを用いた学習問題におけるサポート回復の必要十分条件は何か？
• RQ3 適応的重みスキームは非正則性条件に依存せず、サポート回復を保証できるか？
• RQ4 緩和の選択（同次対非同次）および適応的重みの有無が、サポート回復性能にどのように影響するか？
• RQ5 組合せペナルティにどのような条件下で、凸緩和が十分な構造を保存し、信頼性のあるサポート回復を可能にするか？

主な発見

• 非同次凸緩和はすべての単調集合関数を保存するが、同次緩和は部分集合（例：単調関数）に限定して保存する。
• 範囲関数（Θ∞r）のℓ∞-非同次凸包絡は、すべての実験設定においてℓ1-ノルム（同次緩和）よりもサポート回復で優れている。
• 適応的重みは、特に相関のある設計行列においてサポート回復を著しく改善し、非正則性条件を必要としない。
• 修正範囲関数 F^mr は、非空集合と空集合の間に差 d が生じるため性能が悪化するが、適応的重みがこの問題を緩和する。
• 数値結果から、Θ∞r はハミング距離が小さく、推定誤差もLasso や ℓ1/ℓ∞-ノルムよりも低いことが示され、特にノイズが小さい状況で顕著である。
• 提案された適応的推定器は、漸近的領域において、相関のある設計でさえも、任意の強い安定性を持つサポートに対してサポート回復を保証する。