[논문 리뷰] Dynamic Control of a Fiber Manufacturing Process using Deep Reinforcement Learning

Sangwoon Kim, David Donghyun Kim외 1명|arXiv (Cornell University)|2019. 11. 23.

Iterative Learning Control Systems참고 문헌 38인용 수 7

한 줄 요약

이 논문은 물리적 모델 없이도 시간에 따라 변화하는 기준 경로를 추적할 수 있는 모델리스 딥 강화학습(DRL) 제어기를 제안한다. 이 제어기는 3시간의 훈련을 거쳐 PI 제어기보다 추적 정확도와 응답 속도에서 뛰어난 성능을 보였으며, 응답 지연이 1초 미만이었고, PI 제어기의 3.5초 대비 유리했다.

ABSTRACT

This paper presents a model-free deep reinforcement learning (DRL) approach for controlling a fiber drawing system. The custom DRL-based control system predictively regulates fiber diameter and produces a fiber with a desired, constant or non-constant, diameter trajectory, i.e. diameter variation along the fiber length. Physical models of the system are not used. The system was trained and tested on a compact fiber drawing system, which has non-linear delayed dynamics and stochastic behaviors. For a reference trajectory with random step changes, after 1 hour of training, the DRL controller showed the same root mean squared error (RMSE) as an optimized PI controller; after 3 hours of training, it achieved the performance of a quadratic dynamic matrix controller (QDMC). While the PI feedback controller showed 3.5 seconds of time lag in a step response, the DRL controller showed less than a second of time lag. Controller performance tests on trajectories not used in the training process are conducted; for a sine sweep reference trajectory, the DRL controller maintained an RMSE under 40 um up to a frequency of 45 mHz, compared to 25 mHz for QDMC.

연구 동기 및 목표

• 비선형적이고 지연이 있으며 확률적인 물리적 복잡성의 섬유 금형 공정에서 실시간으로 모델리스 제어 시스템을 개발한다.
• 해석적 또는 수치적 시스템 모델에 의존하지 않고 비정상적이고 시간에 따라 변화하는 경로를 따라 섬유 직경을 예측 제어할 수 있도록 한다.
• 훈련 중에 볼 수 없었던 참조 경로, 예를 들어 사인 스위프트 및 스텝 변화에 대해 DRL 제어기가 일반화할 수 있는지를 입증한다.
• 실제 물리적 환경에서 기존의 PI 및 QDMC 제어기와 비교해 추적 오차와 응답 시간 측면에서 뛰어난 성능을 달성한다.

제안 방법

• 안정적인 훈련과 행동 선택을 가능하게 하는 듀얼 아키텍처를 가진 딥 Q넷(DQN)을 사용해 가치 함수를 근사한다.
• 지연된 동역학을 포착하기 위해 슬라이딩 윈도우(50개 타임스텝, 12.5초) 기반의 현재 및 과거 관측값을 조합한 상태 표현을 사용한다.
• 정밀한 저속 제어를 보장하기 위해 선형 행동-속도 매핑을 구현한다. 이는 정확한 직경 조절에 매우 중요하다.
• 학습을 가속화하고 정책의 일관성을 향상시키기 위해 시간적 맥락을 인코딩하는 'when-label' 임bedding을 통합한다.
• 직경 추적 오차를 기반으로 한 희박하고 형태가 조정된 보상과 함께, 누적 수익을 γ=0.95로 할인하여 DRL 에이전트를 훈련시켰다.
• 훈련의 안정성과 딥 신경망 정책의 발산 방지를 위해 경험 재생과 타겟 네트워크 업데이트를 적용했다.

실험 결과

연구 질문

• RQ1 모델리스 DRL 에이전트는 비선형적이고 지연이 있으며 확률적인 동역학을 보이는 실제 물리 시스템에서 높은 정확도로 섬유 직경을 조절할 수 있는가?
• RQ2 사인 스위프트와 같은 빠르게 변화하는 직경 경로를 추적할 때, 기존의 모델 기반 제어기와 비교해 DRL 제어기는 어떤 성능을 보이는가?
• RQ3 훈련 데이터에 포함되지 않은 참조 경로에 대해 DRL 제어기는 어느 정도 일반화할 수 있는가?
• RQ4 고성능을 달성하는 데 필수적인 아키텍처 및 훈련 구성 요소(예: 윈도우 길이, 행동 매핑, when-label)는 무엇인가?
• RQ5 DRL 제어기는 최적화된 PI 및 QDMC 제어기와 비교해 추적 오차와 응답 시간 측면에서 동등하거나 뛰어난 성능을 낼 수 있는가?

주요 결과

• 1시간의 훈련 후, DRL 제어기는 PI 제어기와 동일한 루트 평균 제곱 오차(RMSE)를 달성했으며, PI 제어기는 3.5초의 시간 지연이 있었다.
• 3시간의 훈련 후, DRL 제어기는 모델 기반 최적 제어기인 2차 동적 매트릭스 제어기(QDMC)와 동일한 성능을 보였다.
• 사인 스위프트 참조 경로에 대해 DRL 제어기는 45mHz까지 RMSE가 40μm 이하를 유지했고, QDMC는 25mHz로 제한되었다.
• 스텝 변화에 대해 DRL 제어기는 응답 지연이 1초 미만이었으며, PI 제어기의 3.5초 지연에 비해 뚜렷이 뛰어났다.
• 선형 행동-속도 매핑은 평균 직경 오차를 약 20μm 감소시켰으며, 특히 저속에서의 제어 성능 향상에 기여했다.
• 시스템 응답 지연이 8.0초임을 포착하기 위해 최소 50개 타임스텝(12.5초)의 윈도우 길이가 필요했으며, 이보다 짧은 윈도우는 불안정하고 정확도가 떨어지는 제어를 유도했다.