[論文レビュー] Gradient-Based Training and Pruning of Radial Basis Function Networks with an Application in Materials Physics

Jussi Määttä, Viacheslav Bazaliy+4 more|arXiv (Cornell University)|Apr 6, 2020

Machine Learning in Materials Science参考文献 29被引用数 20

ひとこと要約

本稿では、径路基底関数ネットワーク（RBFN）の完全勾配ベースのトレーニングおよびプルーニングフレームワークを提案し、材料物理学分野における高い予測精度と解釈可能性を実現する。ベルヌーイ分布、一様分布、またはガウス・ミックスチャネル入力の仮定のもとで、閉形式の目的関数を用いて、大きな過パラメータ化されたRBFNをグローバルに近似する小さなRBFNを最適化することで、銅表面拡散データセットにおいて最先端の性能を達成するとともに、事前の幾何的知識なしに物理的に意味のある原子パターンを明らかにした。

ABSTRACT

Many applications, especially in physics and other sciences, call for easily interpretable and robust machine learning techniques. We propose a fully gradient-based technique for training radial basis function networks with an efficient and scalable open-source implementation. We derive novel closed-form optimization criteria for pruning the models for continuous as well as binary data which arise in a challenging real-world material physics problem. The pruned models are optimized to provide compact and interpretable versions of larger models based on informed assumptions about the data distribution. Visualizations of the pruned models provide insight into the atomic configurations that determine atom-level migration processes in solid matter; these results may inform future research on designing more suitable descriptors for use with machine learning algorithms.

研究の動機と目的

• 最適でない2段階トレーニングのヒューリスティクスを回避する、スケーラブルで完全に勾配ベースのRBFNトレーニング手法の開発。
• 高次元の原子環境回帰における解釈可能性の課題に応えるために、大きなRBFNをコンパクトで意味のあるモデルにプルーニングすること。
• 二値格子表現から学習することで、材料物理学におけるスパarsなデータからの一般化を可能にする。
• 勾配ブースティングツリーと同等の性能を達成しつつ、原理的なプルーニングにより解釈可能性を保ったRBFNの実現。
• 原子配置から学習した対称性を明らかにすることで、より良い不変記述子の設計を支援すること。

提案手法

• PyTorchを用いてRBFNをトレーニングし、完全なバックプロパゲーションと現代的な最適化手法（例：Adam、学習率スケジューリング）を用いることで、局所最適解を回避する。
• トレーニング点だけでなく、入力データ分布全体の期待値差を最小化する目的関数を導出し、プルーニングの閉形式最適化基準を導出する。
• 3つの入力分布（ベルヌーイ分布（二値格子サイト）、連続一様分布、ガウス・ミックスチャネル）の下でのプルーニング目的関数を定式化する。
• ベルヌーイに基づくプルーニング目的関数を用いて、大規模なRBFN（数えきれないほどの重心）をわずか16個の重心にまで縮小し、予測精度を保持した。
• プルーニング目的関数を用いて、小さなRBFNのすべてのパラメータを同時に最適化することで、大規模モデルのグローバル近似を保証する。
• 最終的な重心を可視化し、モデルが平坦化された二値入力ベクトルしか受信していないにもかかわらず、三次元の対称性（例：反転、回転不変性）を示すパターンを同定した。

実験結果

リサーチクエスチョン

• RQ1 完全に勾配ベースのRBFNトレーニング手法は、材料物理学データにおいて勾配ブースティングツリーなどの最先端モデルと同等の予測性能を達成できるか？
• RQ2 RBFNは、大規模で過パラメータ化されたネットワークの予測行動を保持しつつ、コンパクトで解釈可能なモデルにどのようにプルーニングできるか？
• RQ3 ベルヌーイ分布やガウス・ミックスチャネルのような特定の分布に従う入力データに対して、RBFNのプルーニングに適した閉形式最適化基準をどのように導出できるか？
• RQ4 二値格子表現から学習したRBFNは、事前の幾何的インダクティブバイアスなしに、物理的に意味のある三次元対称性を学習できるか？
• RQ5 プルーニングされたRBFNの重心は、原子的機械学習におけるより不変的かつ効率的な記述子の設計に役立つパターンをどの程度明らかにできるか？

主な発見

• 提案された勾配ベースのRBFNトレーニング手法は、銅表面拡散データセットにおいて、ハイパーパrameter最適化済みの勾配ブースティング意思決定ツリーと同等の予測性能を達成した。
• ベルヌーイに基づくプルーニング目的関数を用いて、RBFNを数えきれないほどの重心からわずか16個の重心にまで効果的にプルーニングし、非常にコンパクトで解釈可能なモデルを実現した。
• プルーニングされた重心の可視化により、反転や回転不変性といった物理的に意味のある三次元対称性に対応するパターンが明らかになったが、モデルは平坦化された二値入力ベクトルしか受信していなかった。
• プルーニングされたRBFNは、トレーニング点だけでなく、データ分布全体の期待値差を最小化することで、強力な一般化性能を維持した。
• 本手法により、数万の重心を持つ大規模RBFNで過学習が発生せず、プルーニングは主に解釈可能性のためのツールであることが示された。
• 入力重みに学習されたパターンは、将来のモデルでデータオーグメンテーションや代表的サンプリングの必要性を排除できるような、新しい不変記述子の設計に役立つテンプレートを示唆している。