[論文レビュー] Enforcing constraints for time series prediction in supervised, unsupervised and reinforcement learning

Panos Stinis|arXiv (Cornell University)|May 17, 2019

Model Reduction and Neural Networks参考文献 22被引用数 9

ひとこと要約

本論文は、教師あり、教師なし、強化学習のすべての設定において、時系列予測のための深層ニューラルネットワークの学習中に、力学的システムの制約（微分方程式や記憶に類似した復元力など）を統一的に強制するフレームワークを提案する。損失関数、ディスクライマインプット、または報酬関数にこれらの制約を埋め込むことで、強化学習ではホモトピーに基づく学習安定化を用いる。その結果、特に大きなタイムステップやノイジーなデータを扱う際、長期的な予測精度と一般化性能が顕著に向上する。

ABSTRACT

We assume that we are given a time series of data from a dynamical system and our task is to learn the flow map of the dynamical system. We present a collection of results on how to enforce constraints coming from the dynamical system in order to accelerate the training of deep neural networks to represent the flow map of the system as well as increase their predictive ability. In particular, we provide ways to enforce constraints during training for all three major modes of learning, namely supervised, unsupervised and reinforcement learning. In general, the dynamic constraints need to include terms which are analogous to memory terms in model reduction formalisms. Such memory terms act as a restoring force which corrects the errors committed by the learned flow map during prediction. For supervised learning, the constraints are added to the objective function. For the case of unsupervised learning, in particular generative adversarial networks, the constraints are introduced by augmenting the input of the discriminator. Finally, for the case of reinforcement learning and in particular actor-critic methods, the constraints are added to the reward function. In addition, for the reinforcement learning case, we present a novel approach based on homotopy of the action-value function in order to stabilize and accelerate training. We use numerical results for the Lorenz system to illustrate the various constructions.

研究の動機と目的

• ロールアウト中の誤差蓄積により生じる、時系列データの学習に用いられるニューラルネットワークの長期的予測性能の低さを是正する。
• 既知の物理的制約（例：微分方程式）をニューラルネットワークの学習に統合することで、一般化性能と安定性を向上させる。
• 制約の強制により、記憶に類似した効果を埋め込むことで、大スケールのタイムステップや疎な観測に対しても、正確なフローマップ学習を可能にする。
• アクション価値関数のホモトピーを用いることで、強化学習における学習の安定化と高速化を実現する。
• 科学的計算と機械学習を橋渡しする。すべての主要な学習パラダイムにおいて、ドメイン知識をニューラルネットワーク最適化に埋め込む。

提案手法

• 教師あり学習では、制約を損失関数に正則化項として追加することで強制する。
• 教師なし学習（例：GAN）では、制約に配慮した特徴をディスクライマの入力に追加することで制約を注入する。
• 強化学習（エージェント・クリティック）では、報酬関数に制約を埋め込むことで、物理的に整合性のある軌道への方策学習を導く。
• 解明されていない時スケールを補正するための明示的な誤差補正項を制約に組み込む。これは、モデル還元における記憶項に類似している。
• 強化学習においては、学習の進行に伴い制約の強度を段階的に導入するホモトピースケジュールを導入し、収束性と安定性を向上させる。
• ノイズを含む訓練データ（軌道の周囲にノイズクラウド）と修正された制約を組み合わせることで、予測誤差を是正する復元力が暗黙的に符号化される。

実験結果

リサーチクエスチョン

• RQ1 既知の力学的システムの制約を、時系列予測のための深層学習の学習中にどのように効果的に強制できるか？
• RQ2 制約の強制は、教師あり、教師なし、強化学習の設定において、長期的な予測精度にどのような影響を与えるか？
• RQ3 ホモトピーに基づく段階的制約導入は、エージェント・クリティック型強化学習における学習の安定性と性能を向上させるか？
• RQ4 ノイズを含むデータと制約の強制を組み合わせることで、ニューラルネットワークの訓練軌道を超えた一般化能力はどのように変化するか？
• RQ5 制約強制モデルは、実世界の応用において、大きなタイムステップや疎な観測に対しても、どの程度一般化可能か？

主な発見

• 教師あり学習において制約を強制すると、長期的予測精度が顕著に向上する。特にノイズを含むデータでの訓練と組み合わせると顕著である。
• GANを用いた教師なし学習では、ディスクライマの入力に制約項を追加することで、より正確で物理的に整合性のあるフローマップ学習が可能になる。
• 強化学習においては、アクション価値関数にホモトピーを適用することで、安定的かつ正確な長期的予測が得られる。一方、ホモトピーを用いない学習では、急速に発散する。
• 誤差補正項（モデル還元における記憶項に類似）を明示的に含む修正された制約は、標準的な制約強制よりも優れている。特に長期間の予測において顕著である。
• ノイズを含むデータと制約強制を組み合わせることで、正確なフローマップが得られ、タイムステップが大きくても観測が疎であっても精度を維持する。
• このフレームワークにより、大きなタイムステップでも正確なフローマップ学習が可能となり、オンラインまたはリソース制約のある環境で頻繁な測定ができない状況への応用が示唆される。