[論文レビュー] JITuNE: Just-In-Time Hyperparameter Tuning for Network Embedding Algorithms

Mengying Guo, Tao Yi+2 more|arXiv (Cornell University)|Jan 16, 2021

Advanced Graph Neural Networks参考文献 33被引用数 4

ひとこと要約

JITUneは、階層的ネットワーク要約と知識移譲を用いて、制限時間内に最適なハイパーパrameterを迅速に特定する、ネットワーク埋め込みアルゴリズム向けのタイムリーなハイパーパrameterチューニングフレームワークを提案する。この手法により、限られた時間予算内でも最先端の性能を達成できる。時間制約のある最適化を実現するため、段階的に粗くされたネットワーク表現上でハイパーパrameterをチューニングし、最適な設定を元のネットワークに移譲することで、より高速かつ効率的な最適化が可能になる。

ABSTRACT

Network embedding (NE) can generate succinct node representations for massive-scale networks and enable direct applications of common machine learning methods to the network structure. Various NE algorithms have been proposed and used in a number of applications, such as node classification and link prediction. NE algorithms typically contain hyperparameters that are key to performance, but the hyperparameter tuning process can be time consuming. It is desirable to have the hyperparameters tuned within a specified length of time. Although AutoML methods have been applied to the hyperparameter tuning of NE algorithms, the problem of how to tune hyperparameters in a given period of time is not studied for NE algorithms before. In this paper, we propose JITuNE, a just-in-time hyperparameter tuning framework for NE algorithms. Our JITuNE framework enables the time-constrained hyperparameter tuning for NE algorithms by employing the tuning over hierarchical network synopses and transferring the knowledge obtained on synopses to the whole network. The hierarchical generation of synopsis and a time-constrained tuning method enable the constraining of overall tuning time. Extensive experiments demonstrate that JITuNE can significantly improve performances of NE algorithms, outperforming state-of-the-art methods within the same number of algorithm runs.

研究の動機と目的

• マスサイズのネットワークにおけるネットワーク埋め込み（NE）アルゴリズムのハイパーパrameterチューニングにかかる計算時間が非常に長くなる問題に対処すること。
• ユーザーが指定した時間予算内に高品質な設定を保証する、時間制約付きの最適化フレームワークを開発すること。
• 従来の手法の限界、例えばランダムなサブネットワークのサンプリングや、カテゴリカルなハイパーパrameterを扱えないことの問題を克服すること。
• 構造の忠実性を保ちつつ、小さなネットワーク要約から元のネットワークへの有効な知識移譲を可能にすること。
• 数値的およびカテゴリカルなハイパーパrameterをサポートし、幅広いNEアルゴリズムへの適用可能性を高めること。

提案手法

• 局所的およびグローバルなネットワーク構造を保持するように、粗縮小プロセスを用いて階層的ネットワーク要約を構築する。
• 元のネットワークとの構造的類似度に基づき、ハイパーパrameterチューニングに最も代表的であるとされる要約を特定する類似度測定モジュールを採用する。
• 選択された要約上で、時間制約付きのベイズ最適化フレームワークを適用し、ハイパーパラメータ空間を効率的に探索する。
• 構造的および性能的類似度を考慮したメタラーナーを用いて、要約から得た最適なハイパーパラメータ設定を元のネットワークに移譲する。
• 全チューニング時間がユーザーが定めた制限内に収まるように、早期停止および段階的サンプリングを統合する。
• 数値的およびカテゴリカルなハイパーパラメータを両方サポートし、多様なNEアルゴリズムへの応用可能性を高める。

実験結果

リサーチクエスチョン

• RQ1 階層的要約に基づく手法は、性能に影響を与えないまま、ネットワーク埋め込みのハイパーパラメータチューニングに要する時間を短縮できるか？
• RQ2 ネットワーク要約から元のネットワークへの知識移譲は、チューニングの効率性と正確性を向上させるのにどの程度有効か？
• RQ3 時間制約のある環境下で、本フレームワークは数値的およびカテゴリカルなハイパーパラメータを両方効果的に扱えるか？
• RQ4 時間制約下で、JITuNEは最先端のAutoMLおよびNE特化型チューニング手法と比較して、性能と速度の面で優れているか？
• RQ5 要約の選択が、最終的なハイパーパラメータ設定の品質にどの程度影響を与えるか？

主な発見

• JITUneは、最先端の手法と比較して、同じ回数のアルゴリズム実行回数内でも、ネットワーク埋め込みアルゴリズムの性能を顕著に向上させている。
• 階層的要約と早期停止を活用することで、チューニング時間を短縮し、結果がタイムリーに得られるようになっている。
• 安定性解析の結果、Arxivネットワーク上で5回の独立したチューニング実行において一貫したハイパーパラメータ設定が得られ、リンク予測タスクにおける性能のばらつきは0.001未満に抑えられている。
• 7つの実世界のネットワークにおいて、リンク予測およびノード分類のベンチマークで、AutoNEおよび他のAutoMLベースラインを上回っている。
• 要約から元のネットワークへの知識移譲により、直接的に全ネットワークでチューニングする場合と比較して、リンク予測の正確性が最大5.2%向上している。
• 大規模ネットワークでも高い効率性を維持しており、ユーザーが指定した制限時間内にチューニングが完了し、解の品質に劣化がない。