[論文レビュー] Neural Stochastic Dual Dynamic Programming

Hanjun Dai, Yuan Xue+3 more|arXiv (Cornell University)|Dec 1, 2021

Reinforcement Learning in Robotics参考文献 51被引用数 9

ひとこと要約

本稿では、ニューラルスタティスティカルデュアルダイナミックプログラミング（ν-SDDP）を提案する。これは、問題インスタンスを低次元の区分的線形価値関数近似にマップするニューラルネットワークを学習させることで、より高速かつ効率的なSDDP最適化を可能にするメタラーニングフレームワークである。過去の問題インスタンスから学習することで、特に高次元および長期間の確率的最適化問題において、解法時間を桁違いに短縮しつつ解の品質を損なわず、高速化を実現する。

ABSTRACT

Stochastic dual dynamic programming (SDDP) is a state-of-the-art method for solving multi-stage stochastic optimization, widely used for modeling real-world process optimization tasks. Unfortunately, SDDP has a worst-case complexity that scales exponentially in the number of decision variables, which severely limits applicability to only low dimensional problems. To overcome this limitation, we extend SDDP by introducing a trainable neural model that learns to map problem instances to a piece-wise linear value function within intrinsic low-dimension space, which is architected specifically to interact with a base SDDP solver, so that can accelerate optimization performance on new instances. The proposed Neural Stochastic Dual Dynamic Programming ($ν$-SDDP) continually self-improves by solving successive problems. An empirical investigation demonstrates that $ν$-SDDP can significantly reduce problem solving cost without sacrificing solution quality over competitors such as SDDP and reinforcement learning algorithms, across a range of synthetic and real-world process optimization problems.

研究の動機と目的

• 意思決定変数の増加に伴い性能が著しく低下するStochastic Dual Dynamic Programming（SDDP）における次元の呪いに対処すること。
• 既存のSDDP手法が各問題インスタンスを独立して処理し、解消後に貴重な経験を無駄にしているという制限を克服すること。
• 過去の問題解決経験を活用し、将来の最適化を高速化するトレーニング可能で自己改善可能なフレームワークを開発すること。
• 内在的な低次元空間へのニューラルプロジェクションにより、SDDPのための効率的で低コストの価値関数初期化を可能にすること。
• 学習された価値関数を標準SDDPソルバーにシームレスに統合し、さらなる精錬と時間-品質のトレードオフの改善を実現すること。

提案手法

• 意思決定空間の問題固有の低次元射影を低次元化し、次元の呪いを緩和するように設計された特別なニューラルネットワークアーキテクチャを採用する。
• ニューラルモデルは、射影空間における最適コスト・トゥ・ゴー関数（価値関数）の区分的アフィン近似を出力し、SDDPのカットプレーンフレームワークと互換性を持つ。
• 標準SDDPで問題インスタンスを解いて得られる最適価値関数と行動シーケンスを用いた教師あり学習により、ネットワークを訓練する。
• 訓練データはSDDPの反復処理から構築され、最終的なSDDP解からのカットプレーンを監視信号として用いることで、高品質な価値関数近似を保証する。
• 高速推論（ν-SDDP-fast）と高精度精錬（ν-SDDP-accurate）の両方をサポートし、後者はSDDPに統合されてさらに反復処理が可能となる。
• フレームワークにより、一度訓練が完了すれば、新たな問題インスタンスはニューラル初期化を用いて素早く解けるようになり、SDDPによる精錬によってさらなる改善が可能となる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、類似したマルチステージ確率的最適化問題の間で一般化を学習し、SDDPの解法を高速化できるか？
• RQ2 意思決定空間の低次元射影を学習することで、高次元問題におけるSDDPのパフォーマンスにどのような影響を与えるか？
• RQ3 学習された価値関数初期化は、高品質な解に到達するためのSDDP反復回数を著しく削減できるか？
• RQ4 モデル容量（例：生成されるカットプレーンの数）が、ニューラル価値関数近似のパフォーマンスに与える影響は何か？
• RQ5 解の品質と実行時間のトレードオフの観点から、ν-SDDPはSDDP、SDDP-mean、強化学習ベースラインと比較してどのように差をつけるか？

主な発見

• ν-SDDP-fastはSDDP-meanと同等の解の品質を達成するが、実行時間は約1回のSDDPフォワードパスに相当し、大幅に実行時間を短縮する。
• 大規模問題では、SDDPがν-SDDP-fastと同等の解の品質に到達するには1〜2桁の追加実行時間がかかる。
• SDDPにν-SDDP-accurateを10回の追加反復で統合するだけで、SDDPが多数回の反復を経て到達する解の品質を上回る。
• 高分散性の合成的および実世界問題において、ν-SDDPは最適なホールド・アンド・ベイを再発見し、SDDP-optimalおよびSDDP-meanよりも誤差比で優れた性能を示した。
• 大規模問題においてカットプレーン数が64を超えると、初期段階の低品質なSDDPカットプレーンによるノイズの監視信号の影響で性能が劣化する。
• 低ランク射影を用いることで、内在次元が80未満の場合、SDDP-meanよりも著しく優れたパフォーマンスを達成し、310次元問題でさえも同様の効果が得られた。