[論文レビュー] Dynamic Control of a Fiber Manufacturing Process using Deep Reinforcement Learning

Sangwoon Kim, David Donghyun Kim+1 more|arXiv (Cornell University)|Nov 23, 2019

Iterative Learning Control Systems参考文献 38被引用数 7

ひとこと要約

本稿では、物理的モデルを前提としないモデルフリー深層強化学習（DRL）コントローラーを、コンパクトなファイバー引抜きシステムにおける動的ファイバー径制御に提案する。このDRLコントローラーは、事前の物理モデルなしに時間変動する参照軌跡を追跡する能力を学習する。3時間の学習後、DRLコントローラーは2次動的マトリックスコントローラー（QDMC）と同等の性能を達成し、PIコントローラーよりも追従精度と応答速度で優れており、応答遅れは1秒未塔、PIコントローラーの3.5秒に比べて顕著に短い。

ABSTRACT

This paper presents a model-free deep reinforcement learning (DRL) approach for controlling a fiber drawing system. The custom DRL-based control system predictively regulates fiber diameter and produces a fiber with a desired, constant or non-constant, diameter trajectory, i.e. diameter variation along the fiber length. Physical models of the system are not used. The system was trained and tested on a compact fiber drawing system, which has non-linear delayed dynamics and stochastic behaviors. For a reference trajectory with random step changes, after 1 hour of training, the DRL controller showed the same root mean squared error (RMSE) as an optimized PI controller; after 3 hours of training, it achieved the performance of a quadratic dynamic matrix controller (QDMC). While the PI feedback controller showed 3.5 seconds of time lag in a step response, the DRL controller showed less than a second of time lag. Controller performance tests on trajectories not used in the training process are conducted; for a sine sweep reference trajectory, the DRL controller maintained an RMSE under 40 um up to a frequency of 45 mHz, compared to 25 mHz for QDMC.

研究の動機と目的

• 物理的に複雑で、確率的かつ非線形なファイバー引抜きプロセスにおけるリアルタイムでモデルフリーの制御システムを構築すること。
• 解析的または数値的システムモデルに依存せずに、非定常で時間変動する軌跡に沿ったファイバー径の予測制御を可能にすること。
• トレーニング中に見られなかった参照軌跡（例えば正弦スイープや段階変化）に対しても、DRLコントローラーの一般化能力を実証すること。
• 実物理環境において、従来のPIやQDMCのようなコントローラーと比較して、追従誤差と応答時間の両面で優れた性能を達成すること。

提案手法

• 価値関数近似のためのデュアルアーキテクチャを備えた深層Qネットワーク（DQN）を採用し、安定した学習とアクション選択を実現した。
• 遅延ダイナミクスを捉えるために、スライディングウインドウ（50タイムステップ、12.5秒）を用いた現在および過去の観測値の組み合わせによる状態表現を用いた。
• 正確な径制御に不可欠な低速制御のため、線形アクションスピードマッピングを実装した。
• 時間的文脈を符号化するための「when-label」埋め込みを導入し、学習を加速させるとともに、ポリシーの一貫性を向上させた。
• 直径追従誤差に基づくスパarsely shapedな報酬を用い、累積報酬をγ=0.95で割合を考慮して学習した。
• 学習の安定化と深層ニューラルネットワークポリシーの発散回避のため、経験再生とターゲットネットワークの更新を適用した。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーのDRLエージェントは、非線形的で遅延的かつ確率的なダイナミクスを示す実物理システムにおいて、高精度なファイバー径制御を学習できるか？
• RQ2 正弦スイープのような急激に変化する径軌跡の追従において、従来のモデルベースコントローラーと比較してDRLコントローラーの性能はいかがであるか？
• RQ3 トレーニングデータに含まれない参照軌跡への一般化能力は、どの程度達成できるか？
• RQ4 高性能を達成するために不可欠なアーキテクチャ的および学習的要素（例：ウインドウ長、アクションマッピング、when-label）は何か？
• RQ5 DRLコントローラーは、最適化されたPIおよびQDMCコントローラーと同等またはそれ以上の性能（追従誤差と応答時間の両面で）を達成できるか？

主な発見

• 1時間の学習後、DRLコントローラーは、3.5秒の応答遅れを示す最適化済みPIコントローラーと同等の平均二乗誤差（RMSE）を達成した。
• 3時間の学習後、DRLコントローラーは、モデルベース最適コントローラーである2次動的マトリックスコントローラー（QDMC）と同等の性能を達成した。
• 正弦スイープの参照軌跡において、DRLコントローラーは45 mHzまでRMSEが40 μm未塔を維持したが、QDMCは25 mHzまでに制限された。
• 段階的変化への応答において、DRLコントローラーの応答遅れは1秒未塔であり、PIコントローラーの3.5秒に比べ顕著に優れていた。
• 線形アクションスピードマッピングにより、平均径誤差が約20 μm低減され、特に低速域での制御が向上した。
• 少なくとも50タイムステップ（12.5秒）のウインドウ長が必要であり、これにより8.0秒のシステム応答遅延を捉えることができた。ウインドウ長が短いと、制御が不安定かつ不正確になった。