[论文解读] Flow Shape Design for Microfluidic Devices Using Deep Reinforcement Learning

Xian Yeow Lee, Aditya Balu+3 more|arXiv (Cornell University)|Nov 29, 2018

Innovative Microfluidic and Catalytic Techniques Innovation参考文献 13被引用 15

一句话总结

本文提出一种基于双Deep Q-Network（DoubleDQN）的深度强化学习（DRL）框架，用于解决惯性微流体流动塑形中的逆向设计问题，目标是识别能够将初始流动变形为目标形状的最优柱列序列。该方法在200,000个训练回合内实现了90%的成功频率，并展示了迁移学习能力，使模型能以更少的探索更快适应新的目标流动形状。

ABSTRACT

Microfluidic devices are utilized to control and direct flow behavior in a wide variety of applications, particularly in medical diagnostics. A particularly popular form of microfluidics -- called inertial microfluidic flow sculpting -- involves placing a sequence of pillars to controllably deform an initial flow field into a desired one. Inertial flow sculpting can be formally defined as an inverse problem, where one identifies a sequence of pillars (chosen, with replacement, from a finite set of pillars, each of which produce a specific transformation) whose composite transformation results in a user-defined desired transformation. Endemic to most such problems in engineering, inverse problems are usually quite computationally intractable, with most traditional approaches based on search and optimization strategies. In this paper, we pose this inverse problem as a Reinforcement Learning (RL) problem. We train a DoubleDQN agent to learn from this environment. The results suggest that learning is possible using a DoubleDQN model with the success frequency reaching 90% in 200,000 episodes and the rewards converging. While most of the results are obtained by fixing a particular target flow shape to simplify the learning problem, we later demonstrate how to transfer the learning of an agent based on one target shape to another, i.e. from one design to another and thus be useful for a generic design of a flow shape.

研究动机与目标

• 解决惯性微流体器件中逆向设计的计算不可行性问题，其中寻找能够生成期望流动形状的最优柱列序列具有组合复杂性。
• 克服传统优化方法（如遗传算法）的局限性，这些方法因搜索空间庞大而计算缓慢且耗时。
• 利用强化学习开发一种样本高效、可扩展的流动形状设计解决方案，以实现有效柱列序列的自动化与加速发现。
• 探索强化学习中的迁移学习，以实现从先前训练过的智能体中迁移知识，从而减少新目标流动形状的训练时间。
• 证明DRL能够生成比基线方法更短、更优的柱列序列，从而提高成本效率和设计可行性。

提出的方法

• 将逆向流动塑形问题建模为马尔可夫决策过程（MDP），其中每个动作对应从34种预定义柱类型中选择一个放置。
• 使用双Deep Q-Network（DoubleDQN）智能体学习最优策略，以选择最小化结果流动与目标流动之间差异的柱列序列。
• 基于预测流动形状与目标流动形状之间的质量剩余百分比（PMR）定义奖励函数，以鼓励高相似度。
• 在基于仿真的环境中训练智能体，该环境通过经过验证的惯性流动模型计算前向流动变换。
• 通过使用先前在不同目标流动形状上训练过的智能体的预训练权重来初始化新智能体，实现迁移学习，从而加速收敛。
• 采用探索策略（如ε-贪婪）和经验回放以稳定训练并提高样本效率。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能够有效学习在惯性微流体器件中设计出产生期望流动形状的柱列序列？
• RQ2 当从零开始在目标流动形状上训练时，DoubleDQN智能体在成功率和收敛速度方面的表现如何？
• RQ3 先前训练过的强化学习智能体的知识是否可以用于加速新目标流动形状的学习？若可以，其表现与从随机权重开始训练相比如何？
• RQ4 与基线方法相比，RL智能体生成的柱列序列在长度和与目标流动形状的相似度方面表现如何？
• RQ5 迁移学习在多大程度上减少了访问的独特状态数量以及训练过程中的成功率方差？

主要发现

• DoubleDQN智能体在200,000次训练回合内实现了90%的成功频率，且奖励随时间收敛。
• 智能体生成的前5个柱列序列与目标流动形状的PMR均达到至少90%，表明其在解决方案生成方面具有高度准确性和鲁棒性。
• 迁移学习显著减少了训练时间与方差：在先前流动上微调的智能体收敛更快，且成功率波动更小，优于从随机权重开始训练的智能体。
• 智能体发现的柱列序列比基线方法更短、更优，表明其在成本效率和设计可行性方面均有提升。
• 访问最优解的频率（如Best-1的访问次数达50,294次）表明策略具有良好的收敛性，且高性能设计具有高度可重复性。
• 使用预训练权重使智能体在新目标流动上的学习速度更快，证实了在基于强化学习的逆向设计中知识迁移的可行性。