[論文レビュー] Flow Shape Design for Microfluidic Devices Using Deep Reinforcement Learning

Xian Yeow Lee, Aditya Balu+3 more|arXiv (Cornell University)|Nov 29, 2018

Innovative Microfluidic and Catalytic Techniques Innovation参考文献 13被引用数 15

ひとこと要約

本論文は、初期流れを所望の目的形状に変形させるために最適なピラー列を特定するインertial微小流体流形成の逆設計問題を解くために、ダブルディープQネットワーク（DoubleDQN）を用いた深層強化学習（DRL）フレームワークを提案する。この手法は200,000エピソード以内に90%の成功頻度で学習を達成し、探索の削減により新しい目的の流れ形状への適応を高速化する転移学習を示している。

ABSTRACT

Microfluidic devices are utilized to control and direct flow behavior in a wide variety of applications, particularly in medical diagnostics. A particularly popular form of microfluidics -- called inertial microfluidic flow sculpting -- involves placing a sequence of pillars to controllably deform an initial flow field into a desired one. Inertial flow sculpting can be formally defined as an inverse problem, where one identifies a sequence of pillars (chosen, with replacement, from a finite set of pillars, each of which produce a specific transformation) whose composite transformation results in a user-defined desired transformation. Endemic to most such problems in engineering, inverse problems are usually quite computationally intractable, with most traditional approaches based on search and optimization strategies. In this paper, we pose this inverse problem as a Reinforcement Learning (RL) problem. We train a DoubleDQN agent to learn from this environment. The results suggest that learning is possible using a DoubleDQN model with the success frequency reaching 90% in 200,000 episodes and the rewards converging. While most of the results are obtained by fixing a particular target flow shape to simplify the learning problem, we later demonstrate how to transfer the learning of an agent based on one target shape to another, i.e. from one design to another and thus be useful for a generic design of a flow shape.

研究の動機と目的

• 所望の流れ形状のための最適なピラー列を特定する作業が組み合わせ的に複雑であるため、インertial微小流体デバイスにおける逆設計の計算的非実行可能性に対処すること。
• 大きな探索空間のため、計算量が多くなるため、遺伝的アルゴリズムなどの従来の最適化手法の限界を克服すること。
• 強化学習を用いて、サンプル効率的かつスケーラブルな流れ形状設計ソリューションを開発し、効果的なピラー列の自動かつ迅速な同定を促進すること。
• 事前に訓練されたエージェントからの知識転送を可能にする強化学習における転移学習を検討し、新しい目的の流れ形状に対する学習時間の短縮を実現すること。
• ベースライン手法と比較して、DRLがより短く最適なピラー列を生成できることを示し、コスト効率と設計の実現可能性を向上させること。

提案手法

• 各行動が34種類の事前に定義されたピラー型の有限集合から選択される1つのピラーを配置することに対応する、マーカフ決定過程（MDP）として逆流形成問題を定式化する。
• ダブルディープQネットワーク（DoubleDQN）エージェントを用いて、得られた流れと目的の流れとの差を最小化するピラー列の最適ポリシーを学習する。
• 予測された流れ形状と目的の流れ形状との間の質量残存率（PMR）に基づいて報酬関数を定義し、類似度の高い結果を促進する。
• 検証済みのインertial流体モデルを用いて前方流れ変換を計算するシミュレーションベースの環境を用いてエージェントを訓練する。
• 異なる目的の流れ形状で事前に訓練されたエージェントからの重みを初期化することで、新しいエージェントを構築し、収束を加速する転移学習を実装する。
• ε-greedyや経験再生を含む探索戦略を用いて、学習の安定性とサンプル効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、インertial微小流体デバイスにおいて所望の流れ形状を生成するピラー列を効果的に学習できるか？
• RQ2 新しい目的の流れ形状に対して、ランダム重みから学習を開始した場合、DoubleDQNエージェントの成功頻度と収束速度はどの程度か？
• RQ3 事前に訓練されたRLエージェントからの知識を、新しい目的の流れ形状に対する学習を加速するために転送できるか？また、その場合、ランダム重みから学習を開始するのと比べてどのように異なるか？
• RQ4 ベースライン手法と比較して、RLエージェントが生成するピラー列の長さと目的の流れ形状との類似度はどの程度か？
• RQ5 転移学習は、訓練中の訪問する固有状態数の削減と成功頻度の分散の低減にどの程度寄与するか？

主な発見

• DoubleDQNエージェントは200,000回の訓練エピソード以内に90%の成功頻度で目的の流れ形状を学習し、報酬が時間経過とともに収束した。
• エージェントが生成した上位5つのピラー列は、目的の流れ形状と少なくとも90%のPMRを達成し、解の生成における高い正確性と頑健性を示した。
• 転移学習は訓練時間と分散を顕著に削減した：以前の流れで微調整されたエージェントは、ランダム重みから学習を開始したエージェントよりも速く収束し、成功頻度の変動も少なかった。
• エージェントはベースライン手法よりも短く最適なピラー列を発見したため、コスト効率と設計の実現可能性が向上したと示唆された。
• 上位解（例：Best-1）の訪問頻度（例：50,294回）が高いため、ポリシーの収束が強く、高パフォーマンスの設計の再現性が確認された。
• 事前学習済み重みの使用により、新しい目的の流れ形状に対する学習がより速く可能となり、RLベースの逆設計における知識転送の可能性が裏付けられた。