[논문 리뷰] Flow Shape Design for Microfluidic Devices Using Deep Reinforcement Learning

Xian Yeow Lee, Aditya Balu외 3명|arXiv (Cornell University)|2018. 11. 29.

Innovative Microfluidic and Catalytic Techniques Innovation참고 문헌 13인용 수 15

한 줄 요약

이 논문은 관성 미세유체 흐름 성형에서 역설계 문제를 해결하기 위해 더블 딥 Q-네트워크(DoubleDQN)를 사용하는 딥 강화학습(DRL) 프레임워크를 제안한다. 목표는 초기 흐름을 원하는 목표 형태로 변형시키는 데 최적의 기둥 배열을 식별하는 것이다. 이 방법은 200,000 에피소드 이내에 학습을 통해 90%의 성공 빈도를 달성하며, 탐색을 줄여 새로운 목표 흐름 형태로 더 빠르게 적응할 수 있는 전이 학습을 구현한다.

ABSTRACT

Microfluidic devices are utilized to control and direct flow behavior in a wide variety of applications, particularly in medical diagnostics. A particularly popular form of microfluidics -- called inertial microfluidic flow sculpting -- involves placing a sequence of pillars to controllably deform an initial flow field into a desired one. Inertial flow sculpting can be formally defined as an inverse problem, where one identifies a sequence of pillars (chosen, with replacement, from a finite set of pillars, each of which produce a specific transformation) whose composite transformation results in a user-defined desired transformation. Endemic to most such problems in engineering, inverse problems are usually quite computationally intractable, with most traditional approaches based on search and optimization strategies. In this paper, we pose this inverse problem as a Reinforcement Learning (RL) problem. We train a DoubleDQN agent to learn from this environment. The results suggest that learning is possible using a DoubleDQN model with the success frequency reaching 90% in 200,000 episodes and the rewards converging. While most of the results are obtained by fixing a particular target flow shape to simplify the learning problem, we later demonstrate how to transfer the learning of an agent based on one target shape to another, i.e. from one design to another and thus be useful for a generic design of a flow shape.

연구 동기 및 목표

• 목적 흐름 형태를 위한 최적의 기둥 배열을 찾는 데 있어 조합적으로 복잡한 관성 미세유체 장치에서의 역설계의 계산 비가용성 문제를 해결한다.
• 큰 검색 공간으로 인해 계산 비용이 매우 높고 느린 전통적 최적화 방법(예: 유전 알고리즘)의 한계를 극복한다.
• 샘플 효율적이고 확장 가능한 솔루션을 개발하여 강화학습을 활용해 효과적인 기둥 배열을 자동으로 빠르게 탐색할 수 있도록 한다.
• 기존에 훈련된 에이전트로부터의 지식 전이를 통해 새로운 목표 흐름 형태로의 빠른 적응을 가능하게 하기 위해 강화학습에서의 전이 학습을 탐색한다.
• 기본 방법에 비해 더 짧고 최적화된 기둥 배열을 생성함으로써 DRL이 비용 효율성과 설계 가능성 향상에 기여할 수 있음을 입증한다.

제안 방법

• 각 행동이 34종류의 사전 정의된 기둥 유형 중 하나를 선택하는 것으로 구성된 유한한 집합에서 기둥을 배치하는 것으로, 역 흐름 성형 문제를 마르코프 결정 과정(MDP)으로 공식화한다.
• 결과 흐름과 목표 흐름 간의 차이를 최소화하는 기둥 배열 선택 최적 정책을 학습하기 위해 더블 딥 Q-네트워크(DoubleDQN) 에이전트를 사용한다.
• 예측된 흐름 형태와 목표 흐름 형태 간의 질량 잔류 비율(PMR) 기반으로 보상 함수를 정의하여 유사도를 높이도록 유도한다.
• 검증된 관성 흐름 모델을 통해 정방향 흐름 변환을 계산하는 시뮬레이션 기반 환경을 사용해 에이전트를 훈련시킨다.
• 기존에 다른 목표 흐름 형태로 훈련된 에이전트의 사전 훈련된 가중치를 사용해 새로운 에이전트를 초기화함으로써 전이 학습을 구현한다. 이는 수렴 속도를 가속화한다.
• 에psilon-그리디 및 경험 재생 전략과 같은 탐색 전략을 사용해 훈련의 안정성과 샘플 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 관성 미세유체 장치에서 원하는 흐름 형태를 생성하는 데 최적의 기둥 배열을 효과적으로 학습할 수 있는가?
• RQ2 기본적으로 새로운 목표 흐름 형태로 훈련을 시작했을 때 더블 DQN 에이전트의 성능은 성공률과 수렴 속도 측면에서 어떻게 나타나는가?
• RQ3 이전에 훈련된 RL 에이전트의 지식을 새로운 목표 흐름 형태로의 학습 가속화에 전이할 수 있는가? 만약 가능하면, 무작위 가중치로 훈련하는 것과 비교해 어떻게 다른가?
• RQ4 기본 방법에 비해 RL 에이전트가 생성한 기둥 배열은 길이와 목표 흐름 형태와의 유사도 측면에서 어떻게 다른가?
• RQ5 전이 학습은 훈련 중에 방문하는 고유 상태 수와 성공 빈도의 분산을 얼마나 줄이는가?

주요 결과

• 더블 DQN 에이전트는 200,000개의 훈련 에피소드 이내에 목표 흐름 형태를 학습하는 데 90%의 성공 빈도를 달성했으며, 보상 값이 시간이 지남에 따라 수렴하는 경향을 보였다.
• 에이전트가 생성한 상위 5개의 기둥 배열은 목표 흐름과 최소 90%의 PMR을 확보하여 솔루션 생성의 높은 정확성과 강건성을 입증했다.
• 전이 학습은 훈련 시간과 분산을 크게 줄였다: 이전 흐름으로 미세조정된 에이전트는 랜덤 가중치로 훈련된 에이전트보다 더 빠르게 수렴했고 성공 빈도의 변동성이 적었다.
• 기본 방법에 비해 더 짧고 최적화된 기둥 배열을 발견함으로써 비용 효율성 향상과 설계 가능성 향상이 가능함을 시사했다.
• 최상의 솔루션(예: Best-1)을 방문한 빈도(예: 50,294회 방문)는 정책 수렴과 높은 성능의 설계가 반복 가능하다는 것을 나타낸다.
• 사전 훈련된 가중치의 사용은 새로운 목표 흐름 형태에서의 학습 속도를 가속화시켰으며, RL 기반의 역설계에서 지식 전이의 가능성을 확인했다.