[论文解读] Multi-Objective Optimization of the Textile Manufacturing Process Using Deep-Q-Network Based Multi-Agent Reinforcement Learning

Zhenglei He, Kim Phuc Tran+4 more|arXiv (Cornell University)|Dec 2, 2020

Textile materials and evaluations参考文献 44被引用 4

一句话总结

本文提出了一种基于深度Q网络的多智能体强化学习（MARL）框架，用于优化纺织制造过程，将其转化为具有功利主义选择机制的随机博弈，以实现相关均衡解。该方法在纺织臭氧处理过程的多目标优化中优于传统方法，表现出更优的收敛性和解的质量。

ABSTRACT

Multi-objective optimization of the textile manufacturing process is an increasing challenge because of the growing complexity involved in the development of the textile industry. The use of intelligent techniques has been often discussed in this domain, although a significant improvement from certain successful applications has been reported, the traditional methods failed to work with high-as well as human intervention. Upon which, this paper proposed a multi-agent reinforcement learning (MARL) framework to transform the optimization process into a stochastic game and introduced the deep Q-networks algorithm to train the multiple agents. A utilitarian selection mechanism was employed in the stochastic game, which (-greedy policy) in each state to avoid the interruption of multiple equilibria and achieve the correlated equilibrium optimal solutions of the optimizing process. The case study result reflects that the proposed MARL system is possible to achieve the optimal solutions for the textile ozonation process and it performs better than the traditional approaches.

研究动机与目标

• 为应对纺织制造中多目标优化日益增长的复杂性，特别是臭氧处理等工艺。
• 克服传统优化技术依赖高人力干预且在高维、动态条件下失效的局限性。
• 开发一种可扩展的智能框架，利用多智能体强化学习实现实时决策，用于纺织生产。
• 在随机博弈设定下实现相关均衡解，避免多重均衡带来的不稳定性。
• 通过纺织臭氧处理工艺的案例研究，验证该框架的有效性。

提出的方法

• 该框架将纺织制造过程建模为涉及多个智能体的随机博弈，每个智能体负责控制特定的过程变量。
• 使用深度Q网络（DQN）训练每个智能体，通过与环境的试错交互学习最优策略。
• 采用ε-贪婪探索策略以平衡探索与利用，确保鲁棒收敛。
• 引入功利主义选择机制，引导智能体趋向相关均衡解，提升协调性与解的质量。
• 系统使用集中式评论家评估联合动作，并为训练提供价值函数目标。
• 通过经验回放和目标网络实现端到端训练，以稳定学习过程。

实验结果

研究问题

• RQ1 多智能体强化学习框架能否有效处理纺织制造过程的多目标优化？
• RQ2 所提出的具有功利主义选择机制的MARL系统相较于传统方法，在解的稳定性方面有何改进？
• RQ3 基于DQN的MARL方法在纺织工艺的随机博弈设定下，能在多大程度上实现相关均衡解？
• RQ4 该框架在降低工艺变异性并提升纺织臭氧处理过程的关键性能指标方面表现如何？
• RQ5 该方法能否在保持或提升优化结果的同时，减少对人工干预的依赖？

主要发现

• 所提出的MARL框架成功实现了纺织臭氧处理过程的最优解，优于传统优化技术。
• 由于功利主义选择机制的引入，系统表现出更快的收敛速度和更高的稳定性，有效缓解了多重均衡带来的问题。
• 深度Q网络的使用使得在典型工业纺织工艺中高维状态与动作空间中的有效学习成为可能。
• 该框架通过自动化多个工艺变量的决策，降低了对人工干预的需求。
• 案例研究证实，MARL系统实现了更优的多目标权衡，包括提高产率和降低资源消耗。
• 结果表明，将MARL与DQN及功利主义选择机制相结合，是复杂工业优化任务中可行且高效的方法。