[논문 리뷰] Application of twin delayed deep deterministic policy gradient learning for the control of transesterification process.

Tanuja Joshi, Shikhar Makker외 2명|arXiv (Cornell University)|2021. 02. 25.

Advanced Control Systems Optimization참고 문헌 35인용 수 7

한 줄 요약

이 연구는 생물디젤 생산을 위한 비선형 배치 에스터화 반응 공정을 제어하기 위해 이중 지연 딥 디터미니스틱 정책 기반 강화학습(TD3)을 적용한다. TD3 에이전트는 연속 제어 정책을 성공적으로 학습하여 산업용 생물연료 공정에서 인공지능 기반 최적화의 강력한 잠재력을 보여준다.

ABSTRACT

The persistent depletion of fossil fuels has encouraged mankind to look for alternatives fuels that are renewable and environment-friendly. One of the promising and renewable alternatives to fossil fuels is bio-diesel produced by means of the batch transesterification process. Control of the batch transesterification process is difficult due to its complex and non-linear dynamics. It is expected that some of these challenges can be addressed by developing control strategies that directly interact with the process and learning from the experiences. To achieve the same, this study explores the feasibility of reinforcement learning (RL) based control of the batch transesterification process. In particular, the present study exploits the application of twin delayed deep deterministic policy gradient (TD3) based RL for the continuous control of the batch transesterification process. These results showcase that TD3 based controller is able to control batch transesterification process and can be a promising direction towards the goal of artificial intelligence-based control in process industries.

연구 동기 및 목표

• 생물디젤 생산을 위한 복잡한 비선형 동역학을 갖춘 배치 에스터화 반응 공정의 제어 과제 해결
• 딥 강화학습이 산업 규모의 생물연료 공정에서 연속 제어를 효과적으로 관리할 수 있는지 조사
• 실시간이고 적응 가능한 제어에 있어 TD3가 복잡한 화학적 배치 공정에서 견고한 강화학습 알고리즘으로서의 타당성을 평가
• 사전에 공정 모델을 제공하지 않고도 경험에서 학습하는 엔드 투 엔드의 RL 기반 제어기 개발

제안 방법

• 배치 에스터화 반응 공정에서의 연속 제어를 위해 이중 지연 딥 디터미니스틱 정책 기반 강화학습(TD3) 알고리즘 사용
• 고차원의 행동 공간에서의 함수 근사 가능성을 보장하기 위해 정책 및 Q-값 함수를 근사하기 위해 딥 신경망 활용
• 전이를 저장하고 샘플링하여 데이터 효율성과 학습 안정성을 향상시키기 위해 리play 버퍼 구현
• Q-값 추정의 과대평가 편향을 줄이기 위해 타겟 정책 스무딩과 지연된 정책 업데이트 적용
• 모의 또는 실제 배치 에스터화 반응 환경과의 상호작용을 통해 에이전트를 훈련하고 수확율과 공정 효율성 최적화
• 온도 및 촉매 투입량과 같은 공정 변수를 실시간으로 제어하기 위해 연속적인 행동 출력 사용

실험 결과

연구 질문

• RQ1 TD3 기반 강화학습은 배치 에스터화 반응 공정의 비선형 동역학을 효과적으로 제어할 수 있는가?
• RQ2 이 제어 과제에서 다른 딥 RL 방법과 비교해 TD3 알고리즘이 안정성과 수렴성 측면에서 어떻게 성능을 내는가?
• RQ3 TD3 에이전트가 공정 모델에 대한 사전 지식 없이 최적의 제어 정책을 얼마나 잘 학습할 수 있는가?
• RQ4 다양한 조건에서 TD3 제어기의 수확율과 내성적 안정성 측면에서의 성능은 어떠한가?

주요 결과

• TD3 기반 제어기는 안정적이고 일관된 성능을 보이며 배치 에스터화 반응 공정을 성공적으로 제어하였다.
• 이전의 DDPG 기반 방법과 비교해 표본 효율성이 향상되고 과대평가 편향이 감소한 것으로 나타났다.
• 온도 및 촉매 투입량과 같은 제어 입력을 동적으로 조정함으로써 높은 공정 수확율을 달성하였다.
• 타겟 정책 스무딩과 지연된 정책 업데이트의 사용이 학습 안정성과 수렴 속도를 향상시켰다.
• 결과적으로 TD3는 비선형성과 복잡성을 갖춘 화학 공정에서의 연속 제어에 실현 가능하고 효과적인 접근법임을 확인하였다.
• 본 연구는 재생 가능 에너지 응용 분야에 특히 적합한 프로세스 산업에서 인공지능 기반 제어의 기초를 마련하였다.