[論文レビュー] A Non-generative Framework and Convex Relaxations for Unsupervised Learning

Elad Hazan, Tengyu Ma|arXiv (Cornell University)|Oct 4, 2016

Machine Learning and Algorithms被引用数 11

ひとこと要約

本稿では、確率的仮定を避ける代わりに凸緩和を用いて効率的で不適切な学習を可能にする、非生成的で比較的なフレームワークを提案する。このフレームワークは、和の平方（sum-of-squares）凸緩和を導入し、辞書学習とスペクトルオートエンコーダーの多項式時間アルゴリズムを実現する。従来の研究を超えて、過剰な辞書や代数的多様体を扱えるという、保証付きの拡張を達成する。

ABSTRACT

We give a novel formal theoretical framework for unsupervised learning with two distinctive characteristics. First, it does not assume any generative model and based on a worst-case performance metric. Second, it is comparative, namely performance is measured with respect to a given hypothesis class. This allows to avoid known computational hardness results and improper algorithms based on convex relaxations. We show how several families of unsupervised learning models, which were previously only analyzed under probabilistic assumptions and are otherwise provably intractable, can be efficiently learned in our framework by convex optimization.

研究の動機と目的

• 生成的仮定を強く必要としない、非教師あり学習の一般的な理論的枠組みの欠如に取り組む。
• 比較的で分布依存の学習モデルを導入することで、非教師あり学習における計算の困難さを克服する。
• 凸最適化を用いて、辞書やスペクトルオートエンコーダーのような複雑な仮説クラスの効率的で多項式時間のアルゴリズムを開発する。
• PCA やカーネル-PCA の既存モデルを一般化し、新しいクラスのスペクトル符号化を用いて代数的多様体を学習する。
• 凸緩和、特に和の平方（SOS）を用いることで、分布に関する仮定なしに、最悪ケース性能指標において保証付きで効率的な学習が可能であることを示す。

提案手法

• 性能が最悪分布下での仮説クラスに対して相対的に測定される、非生成的で比較的学習フレームワークを提案する。
• PCA やカーネル-PCA を一般化し、代数的多様体をモデル化できる新しい仮説クラス「スペクトルオートエンコーダー」を導入する。
• 辞書モデルの効率的学習を可能にするため、コアとなる最適化技術として和の平方（SOS）凸緩和を採用する。
• ランダム射影と補助行列を用いた符号化/復号化アルゴリズムを設計し、ℓ1ノルムにおける再構成誤差を最小化する。
• 符号化プロセスにノイズ除去ステップを組み込むことで、再構成信号のノイズを低減し、耐性を向上させる。
• 推定された符号化と真の符号化の誤差を制御するため、SRW（確率的制限幅）境界を適用し、最適解への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 非生成的モデルや確率的仮定に依存せずに、非教師あり学習を形式化できるか？
• RQ2 凸緩和を用いて、辞書やPCAの拡張のような非教師ありモデルの効率的で不適切な学習が可能か？
• RQ3 先行研究が定数倍の過剰性に限るのに対し、本フレームワークは過剰な辞書（定数倍を超えるもの）を扱えるか？
• RQ4 スペクトルオートエンコーダーは、従来のスペクトルモデルでは学習できない代数的多様体を学習できるか？
• RQ5 非生成的で比較的学習設定において、凸最適化を用いて再構成誤差の保証付き境界を達成できるか？

主な発見

• 提案されたフレームワークは、生成的仮定を必要とせず、定数倍の過剰性を超える辞書モデルの効率的で不適切な学習を可能にし、先行研究を拡張する。
• アルゴリズムは、高確率で再構成誤差が $ O(\varepsilon^{\bullet} + \nu) $ 以下であることが保証される。ここで $ \nu $ は凸緩和による誤差であり、$ \nu = O(k^2 r^{2/p} d^{-1} / \nu^2 \times \log d) $ と表される。
• 符号化長は $ \tilde{O}(k^2 r^{2/p} / \nu^2) $ であり、関連するパラメータに関して多項式的であり、有利な条件下ではデータ次元に依存しない。
• 本フレームワークは、PCA やカーネル-PCA を、代数的多様体をモデル化できるより広いクラスのスペクトルオートエンコーダーへ一般化する。
• 和の平方（SOS）凸緩和の使用により、非生成的設定において、初めて保証付きで効率的な辞書学習が達成可能になる。
• 理論的解析により、復号誤差が高確率で $ \varepsilon^{\bullet} + \delta $ 以下に抑えられることを示した。ここで $ \varepsilon^{\bullet} $ は最適再構成誤差、$ \delta $ は緩和誤差である。