[論文レビュー] Bayesian hyper-heuristic framework for training feedforward neural networks

Arné Schreuder|arXiv (Cornell University)|Mar 29, 2023

Machine Learning and Data Classification参考文献 52被引用数 1

ひとこと要約

本稿では、フィードフォワードニューラルネットワーク（FFNN）における最適なトレーニングヒューリスティクスの自動選択を目的とした、新しい集団ベースのベイジアンハイパーヒューリスティクス（BHH）を提案する。ベイジアン確率を用いて、パフォーマンスフィードバックに基づき動的にヒューリスティクス選択を更新することで、14のデータセット全体で競争力のある結果を達成した。特にBHH-GDバージョンは、問題タイプにかかわらず、順位のばらつきが最小で最も一貫性のある性能を示した。

ABSTRACT

The process of training feedforward neural networks (FFNNs) can benefit from an automated process where the best heuristic to train the network is sought out automatically by means of a high-level probabilistic-based heuristic. This research introduces a novel population-based Bayesian hyper-heuristic (BHH) that is used to train feedforward neural networks (FFNNs). The performance of the BHH is compared to that of ten popular low-level heuristics, each with different search behaviours. The chosen heuristic pool consists of classic gradient-based heuristics as well as meta-heuristics (MHs). The empirical process is executed on fourteen datasets consisting of classification and regression problems with varying characteristics. The BHH is shown to be able to train FFNNs well and provide an automated method for finding the best heuristic to train the FFNNs at various stages of the training process.

研究の動機と目的

• トレーニング中にFFNNの最適な低レベルトレーニングヒューリスティクスを自動的に選択する高水準のヒューリスティクスを開発すること。
• FFNNトレーニングにおけるヒューリスティクス選択が問題固有であり、時間のかかる作業であるという課題に対処すること。
• ベイジアン統計を用いて、事前の専門家知識をヒューリスティクス選択プロセスに統合すること。
• 多様な分類および回帰問題において、BHHのパフォーマンスを10の既存の低レベルヒューリスティクスと比較すること。
• BHHが、特性の異なるデータセットにわたって一般化できる能力を示すこと。

提案手法

• BHHは、それぞれが異なるトレーニングアルゴリズム（例：SGD、Adam、RMSProp）を表すヒューリスティクス設定の集団を使用する。
• トレーニング実行からのパフォーマンスフィードバックに基づき、ヒューリスティクスの上での確率分布をベイジアン推論を用いて更新する。
• 選択メカニズムは、ヒューリスティクス選択、証拠（パフォーマンス指標）、および結果（成功／失敗）の同時確率をモデル化するためのナイーブベイズ分類器を用いる。
• パレートフロントや進化的な操作を回避するため、離散的信用配分メカニズムを採用する。
• 確率計算中の数値安定性を確保するため、log-sum-expのテクニックを用いる。
• 複数の独立した実行における観察されたパフォーマンスに基づき、BHHは動的にヒューリスティクスの確率を再割り当てする。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンハイパーヒューリスティクスは、多様なデータセットにおいて、個々の低レベルヒューリスティクスと同等またはそれ以上のパフォーマンスを発揮できるか？
• RQ2 BHHの動的ヒューリスティクス選択メカニズムは、静的ヒューリスティクス選択と比較して、一貫性および一般化性において優れているか？
• RQ3 事前の専門家知識をBHHフレームワークに統合することで、選択パフォーマンスをどの程度向上できるか？
• RQ4 ヒューリスティクス選択の自動化により、手動によるハイパーパrameterチューニングの必要性がどの程度低下するか？
• RQ5 BHHは、分類と回帰という異なる問題タイプおよびデータ特性において、どのように性能を発揮するか？

主な発見

• BHH-GDバージョンは、全14のデータセットにおいて最良の全体的パフォーマンスと最小の順位ばらつきを達成し、優れた一般化能力を示した。
• 勾配ベースのヒューリスティクスは一貫してメタヒューリスティクスを上回り、BHH-GD設定はこの傾向を効果的に活用した。
• BHHは、分類および回帰タスクを含む多様な問題タイプにおいて、高い頑健性を示した。
• BHHは、特定の問題タイプで良好に動作することが知られているヒューリスティクスへのバイアスを組み込むことで、事前の専門家知識を効果的に統合した。
• 進化的な操作やパレートフロントを用いず、競争力のある結果を達成したため、先行するハイパーヒューリスティクス手法とは明確に異なる。
• log-sum-expのテクニックを用いることで、確率計算におけるアンダーフローを防ぎ、数値的安定性を確保した。