[論文レビュー] A Novel Genetic Algorithm with Hierarchical Evaluation Strategy for Hyperparameter Optimisation of Graph Neural Networks

Yingfang Yuan, Wenjun Wang+2 more|arXiv (Cornell University)|Jan 22, 2021

Machine Learning in Materials Science参考文献 45被引用数 11

ひとこと要約

本稿では、グラフニューラルネットワーク（GNN）におけるハイパーパramータ最適化のための階層的評価戦略を備えた新しい遺伝的アルゴリズムHESGAを提案する。高速な初期停止RMSE差分スコアリングと完全トレーニング評価を組み合わせることで、計算コストを低減しつつ高い性能を維持し、GCモデルではベイズ最適化を上回り、MPNNモデルでは同等の性能を示した。3つの分子性質予測ベンチマークで評価された。

ABSTRACT

Graph representation of structured data can facilitate the extraction of stereoscopic features, and it has demonstrated excellent ability when working with deep learning systems, the so-called Graph Neural Networks (GNNs). Choosing a promising architecture for constructing GNNs can be transferred to a hyperparameter optimisation problem, a very challenging task due to the size of the underlying search space and high computational cost for evaluating candidate GNNs. To address this issue, this research presents a novel genetic algorithm with a hierarchical evaluation strategy (HESGA), which combines the full evaluation of GNNs with a fast evaluation approach. By using full evaluation, a GNN is represented by a set of hyperparameter values and trained on a specified dataset, and root mean square error (RMSE) will be used to measure the quality of the GNN represented by the set of hyperparameter values (for regression problems). While in the proposed fast evaluation process, the training will be interrupted at an early stage, the difference of RMSE values between the starting and interrupted epochs will be used as a fast score, which implies the potential of the GNN being considered. To coordinate both types of evaluations, the proposed hierarchical strategy uses the fast evaluation in a lower level for recommending candidates to a higher level, where the full evaluation will act as a final assessor to maintain a group of elite individuals. To validate the effectiveness of HESGA, we apply it to optimise two types of deep graph neural networks. The experimental results on three benchmark datasets demonstrate its advantages compared to Bayesian hyperparameter optimization.

研究の動機と目的

• グラフニューラルネットワーク（GNN）のハイパーパramータ最適化（HPO）における高い計算コストを軽減する。これは、各候補設定に対して高価な完全トレーニングを実行する必要があるためである。
• トレーニングの初期段階におけるRMSEの差分を用いた高速評価手法を導入することで、HPOの時間的・リソース的負担を軽減する。
• 高速評価による候補選択と、エリート個体の維持のための完全評価を組み合わせた階層的評価戦略を開発し、効率性と正確性のバランスを図る。
• 2つの一般的なGNNアーキテクチャ（グラフ畳み込み（GC）とメッセージパッシングニューラルネットワーク（MPNN））を用いて、実世界の分子性質予測データセット上で提案手法の有効性を検証する。
• 計算コストを著しく削減しながら、ベイズ最適化と同等または優れた性能を達成することを示す。

提案手法

• HESGAは、複数の世代にわたり進化するハイパーパramータ設定の集合（個体群）を用いる遺伝的アルゴリズムフレームワークを採用する。
• 高速評価戦略を用い、初期と初期トレーニングエポック（例：トレーニングの10%経過後）におけるRMSEの差分を代理の適応度スコアとして計算する。
• 各世代のすべての後代に対して高速評価を適用し、有望な候補をランク付け・選択して完全評価の対象とする。
• 高速評価で上位にランクされた候補の一部が完全トレーニングを経て、バリデーションセットにおける真のRMSEを計算し、最終的な適応度スコアとして選択に用いる。
• 階層的戦略により、完全評価に進む候補の数を、エリート比によって決定された少数に制限することで、高価なトレーニング呼び出しを最小限に抑える。
• 計算コストは、完全評価と高速評価の回数に比例するとモデル化される。探索と活用のバランスを、高速スコアによる選択と、完全スコアによるエリート個体の維持によって実現する。

実験結果

リサーチクエスチョン

• RQ1 高速評価と完全評価を組み合わせた階層的評価戦略は、解の品質を損なわせることなく、GNNのハイパーパramータ最適化における計算コストを低減できるか？
• RQ2 初期段階のRMSE差分に基づく高速評価手法は、GNN設定の最終的性能をどれほど正確に予測できるか？
• RQ3 HESGAは、GNNアーキテクチャにおいて、最終的なRMSEと計算効率の両面でベイズハイパーパramータ最適化を上回るか？
• RQ4 HESGAは、異なるデータセットやGNNモデルに適用された場合、特にトレーニングコスト制約が異なる状況下でもスケーラブルか？
• RQ5 HESGAは、モデル性能とトレーニングコストの両方を最適化する二目的最適化に拡張可能か？

主な発見

• HESGAは、ESOL、FreeSolv、Lipophilicityデータセットにおいて、グラフ畳み込み（GC）モデルを最適化する際、ベイズハイパーパramータ最適化（BHO）を上回る優れた性能を達成した。
• MPNNモデルでは、HESGAはBHOと同等の性能を示し、異なるGNNアーキテクチャにわたる強力な一般化能力を示した。
• HESGAの計算コストは、10個体、10世代、100エポックの1回の実行において、約3,000回の完全トレーニング操作（O_GC）に相当すると推定され、完全探索に比べて著しくコストを削減した。
• 初期RMSE差分に基づく高速評価手法は、GNNの最終的性能を効果的に予測でき、わずかな精度損失で効率的な候補ランク付けを可能にした。
• 階層的戦略により、各世代における完全評価回数を個体群の10%にまで削減でき、高品質な解を維持しながら高価なトレーニングを最小限に抑えた。
• 本手法はスケーラビリティと適応性を示し、大規模な環境におけるスラグレースモデルや部分的データトレーニングへの応用の可能性を有している。