[論文レビュー] Discrete symbolic optimization and Boltzmann sampling by continuous neural dynamics: Gradient Symbolic Computation

Paul Tupper, Paul Smolensky+1 more|arXiv (Cornell University)|Jan 4, 2018

Neural Networks and Applications参考文献 32被引用数 3

ひとこと要約

本稿では、勾配記号計算（GSC）を提案する。GSCは、連続的ベクトル空間内で進化する、神経的に現実的である連続的確率的力学系であり、離散的記号最適化およびボルツマンサンプリングを解く。適切にスケジュールされた時間変化パラメータのペア（システム分解能$q$と温度$T$）を用いることで、力学系は高い確率でグローバル最大調和記号構造に収束することを証明し、神経記号統合の理論的基盤を確立する。

ABSTRACT

Gradient Symbolic Computation is proposed as a means of solving discrete global optimization problems using a neurally plausible continuous stochastic dynamical system. Gradient symbolic dynamics involves two free parameters that must be adjusted as a function of time to obtain the global maximizer at the end of the computation. We provide a summary of what is known about the GSC dynamics for special cases of settings of the parameters, and also establish that there is a schedule for the two parameters for which convergence to the correct answer occurs with high probability. These results put the empirical results already obtained for GSC on a sound theoretical footing.

研究の動機と目的

• 離散的グローバル最適化および確率的サンプリングを、連続的ニューラルダイナミクスを用いて理論的に根拠のある枠組みで解くこと。
• 認知科学と整合性があり、神経的に現実的な方法で、記号的計算とニューラルネットワークダイナミクスを統合すること。
• 特定の自由パラメータ（$q$および$T$）のスケジュールが、高い確率で正しい解に収束することを保証すること。
• GSCに関する先行研究の経験的結果の理論的裏付けを、特に調和文法およびMaxentモデルの文脈で拡張すること。
• 記号的推論と連続的ニューラル処理を組み合わせた説明可能なAIシステムのための数学的基盤を築くこと。

提案手法

• 離散的記号構造が分散ベクトルとして埋め込まれる実数ベクトル空間上での連続的確率的力学系を採用する。
• 調和性（$H$）は記号的レベルとニューラルレベルの両方で定義され、ベクトルのニューラルレベル調和性は、その埋め込み構造の記号的レベル調和性に対応する。
• 離散的調和関数$H$の滑らかで連続的な近似$\mathcal{H}_q$を導入し、分解能はパラメータ$q$で制御される。
• 温度$T(t)$が時間とともに減少する焼きなまし法に従ってシステムが進化し、$q$は最適化のための分解能を段階的に向上させる。
• 収束性は確率的バインディングを用いて分析され、システムが真のグローバル最大化点から$\eta$以内の状態に到達する確率が$1-\epsilon$を超える必要がある。
• 理論的分析により、$T(t)$の冷却スケジュールと、$g$（グローバル最大値と2番目に高い調和値との差）に基づく必要な$q$値が導出される。

実験結果

リサーチクエスチョン

• RQ1 連続的ニューラルダイナミクス系は、記号的解釈可能性を保ちつつ、離散的グローバル最適化問題を信頼性高く解くことができるか？
• RQ2 分解能（$q$）と温度（$T$）のどのパラメータスケジュールが、GSCにおけるグローバル最大化点への高確率収束を保証するか？
• RQ3 所望の精度（$\eta$）と信頼水準（$\epsilon$）に関して、収束時間はどのようにスケーリングするか？
• RQ4 GSCフレームワークは、決定的最適化および確率的ボルツマンサンプリングの両方について理論的に正当化可能か？
• RQ5 調和値のギャップ$g$と収束に要する計算時間の関係は何か？

主な発見

• パrameter$q$と$T$が適切にスケジュールされていれば、GSCダイナミクスは、調和関数のグローバル最大化点に、確率が1に近づくように収束する。
• 必要な分解能$q$は、$g$（グローバル最大値と2番目に高い調和値との差）と$\eta$（所望の精度）を用いて、$\max(g^{-1}, \eta^{-1})$のオーダーでスケーリングされる。
• 最終温度$T_{\text{end}}$は、$g / \log(\epsilon^{-1})$のオーダーに設定され、正しく解に近い状態にいる確率が$1 - \epsilon$を超えるように保証される。
• 総計算時間は、$\exp[\max(g^{-1}, \eta^{-1}) \cdot \log(\epsilon^{-1}) / g]$のオーダーでスケーリングされ、$g \gg \eta$の場合は$\epsilon^{-\eta^{-1}}$に簡略化される。
• 理論的分析により、システムが正しい記号構造に高確率で収束できることを確認し、先行研究の経験的結果を裏付ける。
• 本稿では、$q$を時間とともに増加させながら$T$を冷却するような、より効率的な$q$および$T$のスケジュールが、将来的な研究課題として残されていると同定している。