[論文レビュー] A General Memory-Bounded Learning Algorithm

Michal Moshkovitz, Naftali Tishby|arXiv (Cornell University)|Dec 10, 2017

Machine Learning and Algorithms参考文献 24被引用数 4

ひとこと要約

本稿は、新しい組合せ的性質である「分離可能性（separability）」を満たす仮説クラスに対して、一般のメモリ制限付き学習アルゴリズムを導入する。この性質は『混合の反転』に相当する条件である。アルゴリズムは、既知の分布下で、各反復で少数のビットのメモリのみを用いて候補仮説集合を逐次削除することで、有界メモリ複雑度を達成し、分離可能なクラスに対して、証明可能なサンプル効率とメモリ効率を実現する。

ABSTRACT

Designing bounded-memory algorithms is becoming increasingly important nowadays. Previous works studying bounded-memory algorithms focused on proving impossibility results, while the design of bounded-memory algorithms was left relatively unexplored. To remedy this situation, in this work we design a general bounded-memory learning algorithm, when the underlying distribution is known. The core idea of the algorithm is not to save the exact example received, but only a few important bits that give sufficient information. This algorithm applies to any hypothesis class that has an "anti-mixing" property. This paper complements previous works on unlearnability with bounded memory and provides a step towards a full characterization of bounded-memory learning.

研究の動機と目的

• このような学習に対する一般の有界メモリアルゴリズムの欠如は、広範な不可能性結果の研究にもかかわらず、依然として問題である。
• 有界メモリ下での学習可能な仮説クラスを特徴付ける、新しい組合せ的条件「分離可能性」を定義する。
• 限られたメモリで正しくかつ効率的に動作する一般の適切な学習アルゴリズムを設計する。
• 統計的クエリモデルとの同等性を示すことにより、アルゴリズムのロバスト性を実証し、ノイズ耐性を実現する。
• 意思決定リスト、等分割分類器、しきい値関数といった自然なクラスに対して、時間的・メモリ的最適な実装を提供する。

提案手法

• 例と仮説の間の二部グラフとして仮説クラスを表現し、エッジはラベルの一致を示す。
• 部分集合 $ S $ と仮説 $ h $ の間の密度 $ d(S, h) $ を用い、サンプル例を用いて推定する。
• 真の仮説を高確率で含む候補集合 $ T \triangleq \text{candidate hypotheses} $ を維持する。
• 各反復で、例の重みの高い部分集合 $ S $ に対して $ d(S, f) $ を推定し、$ d(S, h) \not\approx d(S, f) $ を満たす仮説 $ h $ を特定・削除する。
• 分離可能性の性質を活用し、各反復で $ T $ 内の仮説の定数割合 $ \alpha^2/2 $ を削除可能とし、対数的収束を実現する。
• 統計的クエリモデルでアルゴリズムを実装し、二つのサブルーチン「Is-close」（仮説の近接性判定）と「Estimate」（密度推定）を用いる。両者とも単一の統計的クエリで実現可能である。

実験結果

リサーチクエスチョン

• RQ1 既知の分布下で、仮説クラスの有界メモリ学習を可能にする組合せ的性質は何か？
• RQ2 多様な仮説クラスに適用可能な、一般の適切な学習アルゴリズムを設計できるか？
• RQ3 制限されたストレージ下で収束性と正しさを保証しつつ、メモリ使用量を最小化できるか？
• RQ4 提案されたアルゴリズムはどの程度ノイズに耐性を持ち、統計的クエリ形式に一般化できるか？
• RQ5 意思決定リストやしきい値関数といった自然なクラスに対して、アルゴリズムの時間的・メモリ的複雑度は何か？

主な発見

• 本稿では、有界メモリ学習の十分条件として「分離可能性」を導入し、以前に研究された「混合性」の双対として機能する。
• 任意の $ (\alpha, \epsilon) $-separable 仮説クラス $ \mathcal{H} $ に対して、アルゴリズムは $ \left(\log|\mathcal{H}| \cdot \frac{\log\log|\mathcal{H}| + \log(1/\alpha)}{\alpha^5}, \log|\mathcal{H}| \cdot \frac{1}{\alpha^2}, 0.1, \epsilon\right) $-bounded memory complexity を達成する。
• 各反復で $ O\left(\frac{1}{\alpha^2}(\log\log|\mathcal{H}| + \log(1/\alpha))\right) $ 個の例を使用し、反復回数の合計は $ O\left(\frac{\log|\mathcal{H}|}{\alpha^2}\right) $ で有界である。
• メモリ使用量は $ O\left(\log|\mathcal{H}| \cdot \frac{1}{\alpha^2}\right) $ ビットであり、候補集合 $ T $ は削除済み集合を介して暗黙的に保持することで、ストレージを最小限に抑える。
• アルゴリズムは統計的クエリモデルで実装可能であり、ノイズ耐性を有する：$ \eta $-ノイズ下で「Is-close」は $ O(\epsilon^{-2}(1-2\eta)^{-2}\log(1/\delta)) $ 個のサンプルで、「Estimate」は $ O(\tau^{-2}(\frac{|S|}{|\mathcal{X}|})^{-2}(1-2\eta)^{-2}\log(1/\delta)) $ 個のサンプルでシミュレート可能である。
• 意思決定リスト、等分割分類器、離散しきい値関数といった自然なクラスに対して、アルゴリズムは時間的・メモリ的両面で効率的に実装可能であり、その有効性が示された。