[論文レビュー] Learning to Optimize in Swarms

Yue Cao, Tianlong Chen+2 more|PubMed|Nov 9, 2019

Stochastic Gradient Optimization Techniques参考文献 27被引用数 14

ひとこと要約

本稿では、サンプルレベルおよび特徴量レベルのアテンションを備えたLSTMの集団を用いて、粒子集団の更新ルールを統合的に学習するメタ最適化手法LOIS（Learning to Optimize in Swarms）を提案する。メタ損失関数に事後分布のエントロピーを組み込むことで、探索と活用のバランスを向上させ、非凸関数およびタンパク質ドッキングタスクにおいて既存手法を上回る性能を達成する。

ABSTRACT

Learning to optimize has emerged as a powerful framework for various optimization and machine learning tasks. Current such "meta-optimizers" often learn in the space of continuous optimization algorithms that are point-based and uncertainty-unaware. To overcome the limitations, we propose a meta-optimizer that learns in the algorithmic space of both point-based and population-based optimization algorithms. The meta-optimizer targets at a meta-loss function consisting of both cumulative regret and entropy. Specifically, we learn and interpret the update formula through a population of LSTMs embedded with sample- and feature-level attentions. Meanwhile, we estimate the posterior directly over the global optimum and use an uncertainty measure to help guide the learning process. Empirical results over non-convex test functions and the protein-docking application demonstrate that this new meta-optimizer outperforms existing competitors. The codes are publicly available at: https://github.com/Shen-Lab/LOIS.

研究の動機と目的

• 従来のメタ最適化手法が点ベースのアルゴリズム空間での学習に限定されているという制限を解決し、PSOのような強力な集団ベース手法を除外しないこと。
• メタ損失関数における活用の過剰強調を是正するため、グローバル最適解の事後分布の微分エントロピーを統合し、探索と活用のバランスを取ること。
• 集団内のLSTMにサンプルレベルおよび特徴量レベルのアテンション機構を導入することで、学習された最適化戦略の解釈可能性を高めること。
• 粒子集団を共有かつ適応的な更新ルールで同時にモデル化することで、メタラーニングを集団ベースの最適化に拡張すること。
• 高次元で非凸な困難な問題、特に高価で険しいエネルギー関数を伴うアビニシオタンパク質ドッキング問題において、優れた性能を示すこと。

提案手法

• 粒子集団の反復的更新ルールを、個々の粒子の状態と粒子間の関係性を同時にモデル化するように、LSTMの集団を訓練して統合的に学習する。
• 各粒子の状態内での特徴量の重要度を重みづけるイントラ粒子アテンションと、集団全体の関係性をモデル化するインタ粒子アテンションを統合する。
• メタ損失関数を、累積レグレットとグローバル最適解の事後分布の微分エントロピーの重み付き和として定式化する。
• 最適化軌道から直接ニューラルネットワークを用いて事後分布を推定することで、不確実性を考慮した学習を可能にする。
• 履歴的な状態、勾配、関数値を記憶するため、再帰的アーキテクチャ（LSTM）を用いて、適応的な更新意思決定を可能にする。
• 多様な目的関数の分布（例：Rastrigin関数）上でメタ最適化器をエンドツーエンドに訓練することで、多様な目的関数の形状に一般化可能にする。

実験結果

リサーチクエスチョン

• RQ1 非凸関数の分布上で訓練されたメタ最適化器は、タンパク質ドッキングのような現実世界の高次元最適化タスクに一般化可能か？
• RQ2 メタ損失関数に事後エントロピーを組み込むことで、集団ベース最適化における探索と活用のバランスが向上するか？
• RQ3 サンプルレベルおよび特徴量レベルのアテンション機構は、学習された最適化戦略の解釈可能性と性能をどの程度向上させるか？
• RQ4 点ベースと集団ベースの両方のアルゴリズム空間を統合的に学習することで、純粋に点ベースのメタ最適化器と比較して最適化性能がどのように向上するか？
• RQ5 提案手法のメタ最適化器は、合成ベンチマークおよび現実応用の両方で、標準的な集団ベース最適化手法（PSO）を上回る性能を示せるか？

主な発見

• 10Dおよび20DのRastrigin関数において、提案手法の平均関数値はそれぞれ12.3 ± 5.4および43.0 ± 9.2を達成し、B3（20.4 ± 6.6および48.5 ± 7.1）および他のベースラインを顕著に上回った。
• アブレーションスタディの結果、性能向上の主な要因は粒子数の増加ではなく、インタ粒子アテンションおよび事後分布に従うメタ損失関数の導入であることが確認された。
• タンパク質ドッキングタスクでは、実際のエネルギー関数で訓練されたメタ最適化器が、PSOおよび合成関数で訓練されたメタ最適化器を上回り、特に困難な（柔軟性のある）ケースで顕著な優位性を示した。
• Rastrigin関数で訓練されたメタ最適化器ですら、容易な（剛体の）ケースではPSOを上回り、困難な（柔軟性のある）ケースではそれを凌駃した。これは一般化能力を示している。
• メタ損失関数に事後エントロピーを組み込むことで、B3と比較して明確な性能向上が得られた。これは、探索と活用のバランスを取る上でその役割が確認されたことを示している。
• アテンション機構により、最適化過程でどの粒子や特徴量が最も影響力を持っていたかを解釈可能な形で可視化でき、モデルの解釈可能性設計の有効性が裏付けられた。