[論文レビュー] Fast Neural Models for Symbolic Regression at Scale

Allan dos Santos Costa, Rumen Dangovski+5 more|arXiv (Cornell University)|Jul 16, 2020

Evolutionary Algorithms and Applications参考文献 59被引用数 11

ひとこと要約

OccamNet は、交差エントロピー一致を用いた勾配ベースの最適化と確率的関数サンプリングを組み合わせることで、回帰タスクにおける解釈可能でスパースな記号的式を発見する高速で軽量なニューラルネットワークモデルです。実世界のデータセットにおいて最先端の性能を達成しており、単一の CPU で数分間で複雑な関数をフィッティングし、AIアクセラレータを必要とせずに GPU でも効率的にスケーリングできます。

ABSTRACT

Deep learning owes much of its success to the astonishing expressiveness of neural networks. However, this comes at the cost of complex, black-boxed models that extrapolate poorly beyond the domain of the training dataset, conflicting with goals of finding analytic expressions to describe science, engineering and real world data. Under the hypothesis that the hierarchical modularity of such laws can be captured by training a neural network, we introduce OccamNet, a neural network model that finds interpretable, compact, and sparse solutions for fitting data, a la Occam's razor. Our model defines a probability distribution over a non-differentiable function space. We introduce a two-step optimization method that samples functions and updates the weights with backpropagation based on cross-entropy matching in an evolutionary strategy: we train by biasing the probability mass toward better fitting solutions. OccamNet is able to fit a variety of symbolic laws including simple analytic functions, recursive programs, implicit functions, simple image classification, and can outperform noticeably state-of-the-art symbolic regression methods on real world regression datasets. Our method requires minimal memory footprint, does not require AI accelerators for efficient training, fits complicated functions in minutes of training on a single CPU, and demonstrates significant performance gains when scaled on a GPU. Our implementation, demonstrations and instructions for reproducing the experiments are available at this https URL.

研究の動機と目的

• コン pact で解釈可能な解析的式を生成するスケーラブルで効率的な記号的回帰手法の開発。
• 科学的・工学的文脈における標準的なディープラーニングモデルの外挿性能の低さとブラックボックス性の問題の解決。
• 最小限のメモリフットプリントで CPU での学習を可能にし、高い性能を維持すること。
• 暗黙関数、再帰プログラム、画像分類ルールを含む記号的法則の発見。
• AIアクセラレータを必要とせずに、GPU で効果的にスケーリングできるようになること。

提案手法

• OccamNet は、微分不能な関数空間上に確率分布を定義し、記号的式の探索を実現します。
• 2段階の最適化を実施：関数サンプリングの後、交差エントロピー一致を用いたバックプロパゲーションベースの重み更新。
• 進化戦略最適化により、より良い適合関数に確率質量を偏らせる。
• ニューラルネットワークの重みを、微分可能に記号的式を表現・精緻化する手段として活用。
• 解析的関数、再帰的関数、暗黙関数など、多様な関数タイプをサポート。
• 適合度評価に基づく勾配更新を用いて学習を実施するため、記号的空間の直接微分なしに効率的な最適化が可能。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークモデルは、学習データをはるかに超えて一般化するコン pact で解釈可能な記号的式を発見できるか？
• RQ2 AIアクセラレータを必要とせず、最小限のメモリで CPU で効率的に記号的回帰を実行できるか？
• RQ3 関数空間サンプリングのための確率的で微分可能なフレームワークは、従来の記号的回帰手法よりも性能を向上させるか？
• RQ4 GPU でのスケーリングが効果的であり、低メモリ使用量と高い学習速度を維持できるか？
• RQ5 実世界の回帰タスクにおいて、暗黙関数や再帰関数を含む多様な関数タイプを処理できるか？

主な発見

• OccamNet は実世界の回帰データセットにおいて最先端の性能を達成し、既存の記号的回帰手法を上回っています。
• モデルは単一の CPU で数分間の学習で複雑な関数をフィッティングでき、高い効率性を示しています。
• GPU を活用することで顕著な性能向上が見られ、ハードウェアアクセラレーションが適用された際の顕著な性能向上が確認されました。
• 最小限のメモリフットプリントを要するため、リソース制限のある環境に適しています。
• 暗黙関数や再帰関数を含む多様な関数タイプにおける記号的式の発見に成功しています。
• 交差エントロピー一致と進化的サンプリングの活用により、微分不能な関数空間内でも効果的な最適化が実現されています。