[論文レビュー] Approximate Dynamic Programming with Neural Networks in Linear Discrete Action Spaces

Wouter van Heeswijk, Han La Poutré|arXiv (Cornell University)|Feb 26, 2019

Adaptive Dynamic Programming Control参考文献 15被引用数 5

ひとこと要約

本稿では、高次元で組合せ的な運用研究の問題、特に大きな離散的行動空間を有する問題を解くために、ニューラルネットワークに基づく価値関数近似（NN-VFA）を線形計画法に統合するハイブリッド近似動的計画法を提案する。非線形なニューラルネットワークを線形計画法の枠組みに埋め込むことで、手動による特徴工学の必要性が低減され、従来の多項式ベースのVFAsに比べて著しく優れた性能を発揮する。特に、多層ネットワークでは平均政策性能が19.6%向上し、安定性を維持している。

ABSTRACT

Real-world problems of operations research are typically high-dimensional and combinatorial. Linear programs are generally used to formulate and efficiently solve these large decision problems. However, in multi-period decision problems, we must often compute expected downstream values corresponding to current decisions. When applying stochastic methods to approximate these values, linear programs become restrictive for designing value function approximations (VFAs). In particular, the manual design of a polynomial VFA is challenging. This paper presents an integrated approach for complex optimization problems, focusing on applications in the domain of operations research. It develops a hybrid solution method that combines linear programming and neural networks as part of approximate dynamic programming. Our proposed solution method embeds neural network VFAs into linear decision problems, combining the nonlinear expressive power of neural networks with the efficiency of solving linear programs. As a proof of concept, we perform numerical experiments on a transportation problem. The neural network VFAs consistently outperform polynomial VFAs, with limited design and tuning effort.

研究の動機と目的

• 運用研究において一般的に見られる大規模な離散的行動空間における効果的な価値関数近似（VFA）の設計の課題に対処すること。
• 高次相互作用を伴う高次の特徴を設計する作業の手間を減らし、誤りを伴いやすく複雑な多項式特徴の設計を簡素化すること。
• 線形計画法の効率性とニューラルネットワークの非線形表現力の両方を活かすハイブリッド手法を開発すること。
• 実世界の輸送問題を対象に、異なるニューラルネットワークアーキテクチャの性能と計算コストのトレードオフを評価すること。
• NN-VFAが、政策の質と安定性において従来の多項式VFAsを著しく上回ることを示すこと。

提案手法

• 線形計画法の目的関数に直接、ニューラルネットワークベースの価値関数近似（NN-VFA）を埋め込み、効率的な解法を維持するための線形構造を保つ。
• 線形計画法の定式化と互換性を持つために、ReLUなどの区分線形活性化関数を用いる。
• 二段階アプローチを採用：まず、下流の価値関数を近似するためのニューラルネットワークを学習する。次に、学習済みネットワークを線形計画法の非線形目的項として利用する。
• 歴史的データまたはシミュレーションデータ上で、標準的なディープラーニング技術（例：確率的勾配降下法、バッチ正規化）を用いてNN-VFAsを学習する。
• 性能と計算コストの両面から、複数のアーキテクチャ（例：1層対3層ネットワーク、異なるニューロン数）を比較する。
• 異なるVFAタイプ間での政策性能と計算時間を正規化し、公平な比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 運用研究における動的意思決定問題に、ニューラルネットワークベースの価値関数近似を線形計画法に効果的に統合できるか？
• RQ2 政策の質と安定性という観点から、NN-VFAは従来の多項式ベースのVFAsに比べてどのように性能を発揮するか？
• RQ3 ハイブリッドLP-NVFAフレームワークにおいて、より深くまたは広いニューラルネットワークを用いる場合の、計算コストと性能のトレードオフはいかなるものか？
• RQ4 複雑で高次元の行動空間において、NN-VFAは多項式VFAsに比べて手動による特徴工学の必要性をどれほど低減できるか？
• RQ5 学習率、学習イテレーション数、ネットワークの深さなどのハイパーパrameter設定の変更に対して、NN-VFAの性能向上はどれほど頑健か？

主な発見

• NN(3,20)-VFAは、多項式VFA（PL-VFA）に比べて平均政策性能が19.6%向上し、正規化平均性能は1.196を記録した。
• NN(1,20)-VFAは、PL-VFAに比べて平均政策性能が10.1%向上したが、標準偏差が1.65%と高いばらつきを示した。
• NN(3,20)-VFAは時間経過に伴いより高い安定性を示し、標準偏差が0.72%とNN(1,20)-VFAの1.65%よりも低かった。
• イテレーションごとの計算時間はネットワークの複雑さに比例して増加した：PL-VFAは0.02秒、NN(1,20)-VFAは0.16秒、NN(3,20)-VFAは0.39秒を要した。
• NN(3,20)-VFAは、複数回の学習実行と評価指標において、PL-VFAおよび浅いNN(1,20)-VFAを一貫して上回った。
• ハイブリッド手法により、ニューラルネットワークが生の特徴から複雑な高次相互作用を自動で学習するため、手動による特徴工学の必要性が著しく低減された。