[論文レビュー] Active Importance Sampling for Variational Objectives Dominated by Rare Events: Consequences for Optimization and Generalization

Grant M. Rotskoff, Andrew Mitchell+1 more|arXiv (Cornell University)|Aug 11, 2020

Machine Learning and Algorithms参考文献 37被引用数 18

ひとこと要約

本稿では、高次元問題における希少事象に支配される変分目的関数を最適化するため、神経ネットワークを用いてメタ安定系における希少な遷移経路を学習する、アクティブな重要度サンプリングを提案する。臨界領域への適応的サンプリングにより、分散を低減し、高次元PDE（例えば統計物理学におけるコミットメント方程式）の最適化安定性と一般化性能を向上させる。

ABSTRACT

Deep neural networks, when optimized with sufficient data, provide accurate representations of high-dimensional functions; in contrast, function approximation techniques that have predominated in scientific computing do not scale well with dimensionality. As a result, many high-dimensional sampling and approximation problems once thought intractable are being revisited through the lens of machine learning. While the promise of unparalleled accuracy may suggest a renaissance for applications that require parameterizing representations of complex systems, in many applications gathering sufficient data to develop such a representation remains a significant challenge. Here we introduce an approach that combines rare events sampling techniques with neural network optimization to optimize objective functions that are dominated by rare events. We show that importance sampling reduces the asymptotic variance of the solution to a learning problem, suggesting benefits for generalization. We study our algorithm in the context of learning dynamical transition pathways between two states of a system, a problem with applications in statistical physics and implications in machine learning theory. Our numerical experiments demonstrate that we can successfully learn even with the compounding difficulties of high-dimension and rare data.

研究の動機と目的

• 平衡測度下で支配的寄与が希少事象に由来する高次元系における変分目的関数の最適化の課題に対処すること。
• 神経ネットワークを希少事象に支配される目的関数上で訓練する際、標準モンテカルロサンプリングのデータ効率の低さと高い分散を克服すること。
• 適応的サンプリング戦略を用いて、後退コルモゴロフ方程式やコミットメント方程式などの高次元PDEを解く際の一般化性能と最適化安定性を向上させること。
• 標準サンプリングが低確率領域を捉えられず遷移経路を記録できないメタ安定状態を示す系において、有効な学習を可能にすること。
• 重要度サンプリングが損失関数の漸近的分散を低減し、より良い一般化性能と信頼性の高い最適化をもたらすことを示すこと。

提案手法

• 変分目的関数に最も寄与する領域、特に希少な遷移経路に焦点を当てた、アクティブラーニングと重要度サンプリングを組み合わせる。
• 確率的解釈を保証するため、1層のReLU活性化関数とシグモイド出力を持つ神経ネットワークを用いてコミットメント関数をパラメータ化する。
• 境界条件を含む合計12のウィンドウを用いたウィンドウ化最適化スキームを実装し、学習率5×10⁻²で5000ステップにわたり確率的勾配降下法を適用する。
• 各ウィンドウに対して25ステップのサンプリングを実施し、現在のモデルの不確実性に基づいてサンプリング分布を適応的に更新することで、損失関数の推定値を段階的に改善する。
• フォッカー・プランク方程式または後退コルモゴロフ方程式の構造を活用して平衡測度とポテンシャルエネルギーの分布を定義し、メタ安定状態の特定を可能にする。
• 二重井戸ポテンシャルを用いたランジュバンダイナミクスを用いてメタ安定性をモデル化し、状態間の希少な遷移をシミュレートする。コミットメント関数は、ある状態に到達する確率を捉える。

実験結果

リサーチクエスチョン

• RQ1 アクティブな重要度サンプリングは、希少事象に支配される変分目的関数におけるニューラルネットワーク学習の漸近的分散を低減できるか？
• RQ2 アクティブサンプリングは、コミットメント方程式などの高次元PDEにおける最適化安定性と一般化性能をどのように向上させるか？
• RQ3 標準サンプリングが希少な構成を捉えられない場合でも、ニューラルネットワークはメタ安定状態間の遷移経路を効果的に学習できるか？
• RQ4 適応的サンプリングは、高次元系における学習済みコミットメント関数の収束性と精度にどのような影響を及ぼすか？
• RQ5 ニューラルネットワークのアーキテクチャとサンプリング戦略の選択は、複雑なマルチウェルポテンシャルランドスケープにおける真の遷移状態の回復にどのように影響するか？

主な発見

• アクティブな重要度サンプリングは、実効損失の漸近的分散を顕著に低減し、変分目的関数のより安定的かつ正確な最適化を実現する。
• 本手法は、144次元系における2つのメタ安定状態間の特徴的な時計型の遷移経路を正確に回復でき、ストリング法や最小作用法による既知の結果と一致する。
• 一様サンプリングに基づく実効損失は、希少事象領域のスパarsityのため、真の集団損失の形状とスケールを捉えられず、大きな一般化誤差を生じる。
• 学習初期の損失の上昇は、遷移経路の初期表現が一貫していないためであり、代表的な構成がサンプリングされ、損失推定値が改善されるにつれて是正される。
• 本アルゴリズムは高次元問題に良好に一般化され、12×12格子（144自由度）の実験で、コミットメント関数と遷移状態を正確に同定することを示した。
• 本手法は、データが乏しく、平衡測度が顕著に非一様な状況下でも有効に学習を可能にし、統計物理学およびバイオフィジックス分野の複雑な系に適している。