[논문 리뷰] Multi-Objective Optimization of the Textile Manufacturing Process Using Deep-Q-Network Based Multi-Agent Reinforcement Learning

Zhenglei He, Kim Phuc Tran외 4명|arXiv (Cornell University)|2020. 12. 02.

Textile materials and evaluations참고 문헌 44인용 수 4

한 줄 요약

이 논문은 섬유 제조 공정을 최적화하기 위해 딥 Q네트워크 기반의 다중 에이전트 강화학습(MARL) 프레임워크를 제안한다. 이 프레임워크는 이윤 극대화 선택 메커니즘을 갖춘 스토케스틱 게임으로 변환하여 관련 균형 해를 달성한다. 기존 방법에 비해 섬유 오존화 공정의 다목적 최적화에서 더 뛰어난 수렴성과 해 품질을 보여준다.

ABSTRACT

Multi-objective optimization of the textile manufacturing process is an increasing challenge because of the growing complexity involved in the development of the textile industry. The use of intelligent techniques has been often discussed in this domain, although a significant improvement from certain successful applications has been reported, the traditional methods failed to work with high-as well as human intervention. Upon which, this paper proposed a multi-agent reinforcement learning (MARL) framework to transform the optimization process into a stochastic game and introduced the deep Q-networks algorithm to train the multiple agents. A utilitarian selection mechanism was employed in the stochastic game, which (-greedy policy) in each state to avoid the interruption of multiple equilibria and achieve the correlated equilibrium optimal solutions of the optimizing process. The case study result reflects that the proposed MARL system is possible to achieve the optimal solutions for the textile ozonation process and it performs better than the traditional approaches.

연구 동기 및 목표

• 섬유 제조 공정, 특히 오존화 공정과 같은 과정에서 다목적 최적화의 복잡성이 증가하는 데 대응하기 위해.
• 고차원적이고 동적인 조건에서 실패하고 높은 인간 간섭이 필요한 전통적 최적화 기법의 한계를 극복하기 위해.
• 실시간 의사결정을 위한 실현 가능하고 스케일러블한 지능형 프레임워크를 개발하기 위해.
• 다중 균형점으로 인한 불안정성을 피하기 위해 스토케스틱 게임 환경에서 관련 균형 해를 달성하기 위해.
• 섬유 오존화 공정에 대한 사례 연구를 통해 프레임워크의 효과성을 검증하기 위해.

제안 방법

• 프레임워크는 다수의 에이전트가 특정 공정 변수를 제어하는 데 책임지는 다중 에이전트 스토케스틱 게임으로 섬유 제조 공정을 모델링한다.
• 딥 Q네트워크(DQN)를 사용하여 각 에이전트가 환경과의 시도-오류 상호작용을 통해 최적 정책을 학습하도록 한다.
• 탐색과 이용의 균형을 확보하여 강력한 수렴성을 확보하기 위해 ε-탐색 전략을 적용한다.
• 관련 균형 해로 향하는 데 도움을 주기 위해 이윤 극대화 선택 메커니즘을 도입하여 협업과 해 품질을 향상시킨다.
• 공동 행동을 평가하고 학습을 위한 가치 함수 목표를 제공하기 위해 중심화된 크리틱을 사용한다.
• 경험 재생과 타겟 네트워크를 사용하여 학습을 안정화시키기 위해 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 다중 에이전트 강화학습 프레임워크는 섬유 제조 공정의 다목적 최적화를 효과적으로 처리할 수 있는가?
• RQ2 이윤 극대화 선택 메커니즘이 통합된 제안된 MARL 시스템은 기존 방법에 비해 해의 안정성은 어떻게 향상되는가?
• RQ3 딥 Q네트워크 기반의 MARL 접근법은 섬유 공정에 대한 스토케스틱 게임 환경에서 관련 균형 해를 어느 정도 달성할 수 있는가?
• RQ4 이 프레임워크는 섬유 오존화 공정에서 공정 변동성을 줄이고 주요 성과 지표를 향상시키는 데 어떻게 기여하는가?
• RQ5 최적화 결과를 유지하거나 향상시키면서 인간 간섭을 줄일 수 있는가?

주요 결과

• 제안된 MARL 프레임워크는 기존 최적화 기법에 비해 섬유 오존화 공정에 대해 최적 해를 성공적으로 달성했다.
• 이윤 극대화 선택 메커니즘이 도입되어 다중 균형점 문제를 완화함으로써 수렴 속도와 안정성이 향상되었다.
• 딥 Q네트워크의 사용으로 산업적 섬유 공정에서 일반적인 고차원 상태 및 행동 공간에서도 효과적인 학습이 가능했다.
• 다양한 공정 변수에 걸친 의사결정 자동화로 인간 간섭의 필요성이 감소했다.
• 사례 연구를 통해 MARL 시스템이 더 나은 다목적 트레이드오프를 달성했으며, 수확률 향상과 자원 소비 감소를 포함하여 성과가 향상됨을 확인했다.
• 결과적으로 MARL과 DQN, 이윤 극대화 선택 메커니즘의 통합은 복잡한 산업 최적화 과업에 대해 실현 가능하고 효과적인 접근법임을 시사한다.