[論文レビュー] Spherical perceptron as a storage memory with limited errors

Mihailo Stojnic|arXiv (Cornell University)|Jun 17, 2013

Neural Networks and Applications参考文献 11被引用数 3

ひとこと要約

この論文は、誤りの割合を制御可能な記憶メモリとしての球面パーセプトロンを厳密に分析し、Gardnerの統計力学的予測が、記憶容量の数学的上界として正当化されることを確認した。新しい数学的枠組みを用いて最適化技術によりより緊密な上界を確立し、広範なパrameter範囲においてGardnerの予測が真の容量に極めて近いことが示された。

ABSTRACT

It has been known for a long time that the classical spherical perceptrons can be used as storage memories. Seminal work of Gardner, \cite{Gar88}, started an analytical study of perceptrons storage abilities. Many of the Gardner's predictions obtained through statistical mechanics tools have been rigorously justified. Among the most important ones are of course the storage capacities. The first rigorous confirmations were obtained in \cite{SchTir02,SchTir03} for the storage capacity of the so-called positive spherical perceptron. These were later reestablished in \cite{TalBook} and a bit more recently in \cite{StojnicGardGen13}. In this paper we consider a variant of the spherical perceptron that operates as a storage memory but allows for a certain fraction of errors. In Gardner's original work the statistical mechanics predictions in this directions were presented sa well. Here, through a mathematically rigorous analysis, we confirm that the Gardner's predictions in this direction are in fact provable upper bounds on the true values of the storage capacity. Moreover, we then present a mechanism that can be used to lower these bounds. Numerical results that we present indicate that the Garnder's storage capacity predictions may, in a fairly wide range of parameters, be not that far away from the true values.

研究の動機と目的

• 誤ったパターンの再構成を許容する球面パーセプトロンの記憶容量を厳密に分析すること。
• 誤り許容型記憶容量に関するGardnerの統計力学的予測が、数学的に証明可能な上界として妥当であることを検証すること。
• 上界を体系的に低下させ、真の容量に近づけるメカニズムを構築すること。
• さまざまなパrameter領域において、Gardnerの予測と数値的に計算された下界を比較することで、その精度を評価すること。

提案手法

• パターン再構成精度に関する制約を含む確率的枠組みを用いて、誤り許容型球面パーセプトロンを形式化すること。
• 大偏差および測度集中の理論に基づく厳密な数学的解析を適用し、記憶容量の上界を導出すること。
• 補助パラメータの最適化を可能にする洗練された変分的メカニズムを導入し、上界を tighter にすること。
• 数値的最適化を用いて真の容量の下界を計算し、Gardnerの予測と比較すること。
• ゼロと非ゼロのしきい値の両方を扱えるように枠組みを拡張し、相関のあるまたは非ガウス分布のパターン分布へも結果を拡張すること。
• Lindebergの原理を活用して、ガウス分布の仮定を超えて一般化し、分布の仮定に対して強い適用性を保証すること。

実験結果

リサーチクエスチョン

• RQ1 誤りを許容する球面パーセプトロンの記憶容量に関するGardnerの統計力学的予測が、数学的に証明可能な上界として確認できるか？
• RQ2 誤りが許容される状況において、Gardnerの予測は真の記憶容量にどの程度近いか？
• RQ3 記憶容量の上界を体系的に低下させるために使用できる数学的メカニズムは何か？
• RQ4 上界はさまざまな誤り率とシステムパラメータにおいてどのように振る舞うか？
• RQ5 結果は、非ガウス的または相関のあるパターン分布へどの程度一般化できるか？

主な発見

• 誤りを許容する状況におけるGardnerの記憶容量予測は、真の容量の上界として厳密に確認された。
• 最適化された変分的メカニズムを用いることで、誤り率が高い領域においても、記憶容量の上界が顕著に tightened された。
• 誤り率 fwb = 0.5 の場合、上界 αc,wb(u) は 7.8879 に達するが、下界 αc,wb(u,low) は 7.1643 であり、両者の差が小さいことが示された。
• 誤り率がゼロに近づく極限（fwb → 0）では、上界は 2.9313 に近づき、誤りなしの場合の既知の結果とよく一致する。
• テストしたすべてのパラメータ領域において、上界と下界の差が小さく保たれており、Gardnerの予測が極めて正確であることが示された。
• Lindebergの原理を用いることで、ガウス分布を超えた一般化が可能となり、分布の仮定に対して強いロバストネスが保証された。