[論文レビュー] Risk Bounds for Learning Multiple Components with Permutation-Invariant Losses

Fabien Lauer|arXiv (Cornell University)|Apr 16, 2019

Sparse and Compressive Sensing Techniques参考文献 1被引用数 4

ひとこと要約

本稿は、スパarsity誘導正則化の下で、置換不変損失関数を有する複数のコンポonent学習問題に対して、よりタイトな一般化誤差バウンドを導出する、新規で単純なアプローチを提案する。Rademacher複雑度の分解を活用することで、特に非凸な ℓp-準ノルム正則化（p∈(0,1)）において、従来の手法では取り扱えなかった状況でも、コンポonent数 C に対する弱い、あるいは消失する依存性を達成する。

ABSTRACT

This paper proposes a simple approach to derive efficient error bounds for learning multiple components with sparsity-inducing regularization. We show that for such regularization schemes, known decompositions of the Rademacher complexity over the components can be used in a more efficient manner to result in tighter bounds without too much effort. We give examples of application to switching regression and center-based clustering/vector quantization. Then, the complete workflow is illustrated on the problem of subspace clustering, for which decomposition results were not previously available. For all these problems, the proposed approach yields risk bounds with mild dependencies on the number of components and completely removes this dependence for nonconvex regularization schemes that could not be handled by previous methods.

研究の動機と目的

• 部分空間クラスタリング、スイッチング回帰、ベクトル量子化などの複数コンポonent学習問題に対して、効率的な一般化誤差バウンドが不足しているという問題に対処する。
• リスクバウンドにおけるコンポonent数 C に対する線形的または平方根的依存性を示す、従来の手法の制限を克服する。
• スパarsityを促進するが、従来の解析では取り扱いが困難であった非凸正則化スキーム（例：p∈(0,1) の ℓp-準ノルム）を扱えるように、既存の理論枠組みを拡張する。
• 既知のRademacher複雑度分解結果を再利用することで、多様な問題に適用可能な統一的で単純な手法を提供する。
• 非凸的かつスパースなコンポonentモデルを出力する実用的アルゴリズムのモデル選択と理論的裏付けを可能にする。

提案手法

• 損失関数の置換不変性を活用し、全体の損失クラスのRademacher複雑度をコンポonentごとの寄与に分解する。
• 独立なコンポonentクラスの積クラスに関する既知の分解結果を適用し、全損失クラスのRademacher複雑度をバウンドする。
• ℓp-ノルムとその双対との双対性を用いて、p=2 の場合に O(√C)、p=1 の場合に O(log C) のスケーリングを導出し、p<1 の場合には C 依存性を完全に除去する。
• スイッチング回帰、ベクトル量子化、部分空間クラスタリングの3つの問題に、問題固有の分解構造を用いて適用する。
• 計算的に取り扱いにくい経験的リスク最小化器に依存しない、経験的Rademacher複雑度推定による一様リスクバウンドを導出する。
• 射影行列のトレースおよびFrobeniusノルムの恒等式を活用し、部分空間クラスタリングモデルの複雑度をバウンドする。

実験結果

リサーチクエスチョン

• RQ1 スパarsity誘導正則化を伴う複数コンポonent学習問題に対して、よりタイトな一般化誤差バウンドを導出可能か？
• RQ2 置換不変損失関数を有する問題において、コンポonent数 C への依存性は、リスクバウンドにどのように影響するか？
• RQ3 非凸正則化スキーム（例：p∈(0,1) の ℓp-準ノルム）を扱えるように、理論枠組みを拡張可能か？
• RQ4 置換不変性は、Rademacher複雑度分解およびそれによるリスクバウンドにどのような影響を及えるか？
• RQ5 提案手法は、スイッチング回帰、クラスタリング、部分空間クラスタリングといった多様な問題に体系的に適用可能か？

主な発見

• 提案手法は、ℓ2-正則化の下で、コンポonent数 C に対して O(√C) の依存性を示し、従来の線形バウンドを改善する。
• ℓ1-正則化の下では、C に対して O(log C) の依存性を達成し、最先端の結果と同等の性能を示すが、導出がより単純である。
• 非凸な ℓp-準ノルム正則化（p∈(0,1)）の下では、リスクバウンドにおける C 依存性を完全に除去する。これは、従来の手法では達成できなかった結果である。
• スイッチング回帰への応用では、C に対する依存性を線形から非線形にタイトに改善する。
• ヒルベルト空間におけるベクトル量子化では、√C または線形依存性を示す既存のバウンドを上回る。
• 部分空間クラスタリング—以前は理論的解析が不足していた問題—に対して、本フレームワークを用いて初めて完全なリスクバウンドの導出を達成し、その汎用性と実用性を示した。