[論文レビュー] Gigamachine: incremental machine learning on desktop computers

Eray Özkural|arXiv (Cornell University)|Sep 8, 2017

Numerical Methods and Algorithms被引用数 2

ひとこと要約

本稿では、R5RS Schemeを汎用参照マシンとして用い、Levin検索をガイドするための確率的文脈自由文法（SCFG）を用いて、デスクトップコンピュータ上で段階的機械学習を実現するプロトタイプであるGigamachineを提示する。本研究では、生成確率の調整、解決策の再利用、プログラミングのイディオムの発見を通じて学習効率を向上させるための4つの更新アルゴリズム（うち2つを実装）を導入し、玩具問題における実験により、検索時間と誤り率の低減が確認された。

ABSTRACT

We present a concrete design for Solomonoff's incremental machine learning system suitable for desktop computers. We use R5RS Scheme and its standard library with a few omissions as the reference machine. We introduce a Levin Search variant based on a stochastic Context Free Grammar together with new update algorithms that use the same grammar as a guiding probability distribution for incremental machine learning. The updates include adjusting production probabilities, re-using previous solutions, learning programming idioms and discovery of frequent subprograms. The issues of extending the a priori probability distribution and bootstrapping are discussed. We have implemented a good portion of the proposed algorithms. Experiments with toy problems show that the update algorithms work as expected.

研究の動機と目的

• ソロモンフの段階的機械学習フレームワークを実用的かつデスクトップ環境で動作するシステムとして設計すること。
• 一般用途プログラミング環境における効率的なプログラム生成と学習の課題に取り組むこと。
• 訓練シーケンスからの学習を可能にする更新アルゴリズムを開発し、解決策の再利用と共通サブプログラムの発見を可能にすること。
• 高水準言語（例：Scheme）を用いて、一般ハードウェアでAGIに類似した学習を実装する可能性を評価すること。

提案手法

• 最小限の構文省略で、文法に基づくプログラム生成を簡素化するため、R5RS Schemeを参照ユニバーサルマシンとして採用する。
• Levin検索をガイドするため、確率的文脈自由文法（SCFG）を用い、プログラム候補に事前確率を割り当てる。
• 左最左導出を確率的時間枠とともに適用し、深さ優先探索の深さを制限することで、効率性を向上させる。
• 4つの更新アルゴリズムを導入：生成確率の調整、解決策の再利用、イディオムの発見、頻出サブプログラムの検出。
• 検索パフォーマンスを最適化するため、ベストファーストおよびメモリに配慮したハイブリッド探索戦略を適用する。
• SCFGガイドド検索と各問題解決後の段階的更新を統合した、修正版LSEARCHアルゴリズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 確率的CFGは、Schemeのような一般用途言語において、段階的プログラム検索を効果的にガイドできるか？
• RQ2 生成確率をどのように更新すれば、時間の経過とともに学習効率を向上させられるか？
• RQ3 以前に発見された解決策をどれだけ再利用できるかが、新しい問題の学習をどれだけ加速できるか？
• RQ4 明示的な指定なしに、共通するプログラミングイディオムやサブルーチンを発見できるか？
• RQ5 訓練シーケンスの複雑さが増すに従い、システムのパフォーマンスはどのようにスケーリングするか？

主な発見

• 実装された更新アルゴリズムにより、段階的問題において検索時間と誤り率が有意に低減され、反復の過程で誤り率が97％から88％に低下した。
• 平方関数の解決策は、以前に学習済みの解決策を再利用した後、210回の試行で発見された。初期検索と比較して約100倍の高速化が達成された。
• NAND関数は8,413,333回の試行を要したが、その後のNOR関数は4,275,820回の試行で解決された。これは学習による約30倍の高速化を示している。
• 階乗関数は、第5例に到達するまで1日以上を要したが、部分的な解決策が得られた。これは、システムが複雑な再帰的パターンを学習できることを示している。
• 後続の問題においてパフォーマンスが向上した。これは、文法の更新を通じた有効な学習と適応が行われたことを示している。
• 過去の解決策の再利用は学習を著しく加速した。pow4関数はsqrの解決策を活用し、sqr自体よりも速やかに解決された。