[논문 리뷰] Toolpath design for additive manufacturing using deep reinforcement learning

Mojtaba Mozaffar, Ablodghani Ebrahimi외 1명|arXiv (Cornell University)|2020. 09. 30.

Additive Manufacturing and 3D Printing Technologies참고 문헌 10인용 수 4

한 줄 요약

이 논문은 금속 기반 적층 제조에서 도구 경로 설계를 최적화하기 위해 강화학습 문제로 프로세스를 모델링하는 딥 강화학습 프레임워크를 제안한다. DQN, SAC, PPO 알고리즘을 사용하여 모델리스 강화학습이 높은 성능을 달성함을 보이며, 특히 밀도 높은 보상 구조에서 DQN과 PPO가 수동으로 설정한 진동형 도구 경로를 뛰어넘는다. 반면 SAC는 이 작업 맥락에서의 불안정성으로 인해 성능이 열 劣한다.

ABSTRACT

Toolpath optimization of metal-based additive manufacturing processes is currently hampered by the high-dimensionality of its design space. In this work, a reinforcement learning platform is proposed that dynamically learns toolpath strategies to build an arbitrary part. To this end, three prominent model-free reinforcement learning formulations are investigated to design additive manufacturing toolpaths and demonstrated for two cases of dense and sparse reward structures. The results indicate that this learning-based toolpath design approach achieves high scores, especially when a dense reward structure is present.

연구 동기 및 목표

• 금속 기반 적층 제조의 도구 경로 최적화에서 고차원 설계 공간 문제를 해결하기 위해.
• 환경에 대한 사전 지식 없이도 모델리스 강화학습이 최적의 도구 경로 전략을 효과적으로 학습할 수 있는지 조사하기 위해.
• DQN, SAC, PPO와 같은 최신 딥 강화학습 알고리즘 세 종류의 성능을 조밀한 보상과 희박한 보상 설정 모두에서 도구 경로 생성에 대해 비교하기 위해.
• 이 알고리즘들이 시뮬레이션된 AM 환경에서 샘플 효율성과 수렴 행동을 평가하기 위해.
• 설계된 밀도 높은 보상이 복잡한 제조 작업에서 학습 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 도구 경로 설계 문제는 에이전트가 환경 상태에 기반해 행동(도구 경로 이동)을 선택하는 마르코프 결정 과정(MDP)으로 공식화된다.
• 도구 경로의 현재 기하학적 구조와 침착 이력 기반 상태 표현을 포함한 적층 제조 프로세스를 모델링하기 위해 맞춤형 시뮬레이션 환경을 개발했다.
• TensorFlow 라이브러리를 사용하여 딥 Q 네트워크(DQN), 소프트 액터-크리틱(SAC), 프록시멀 피드백 최적화(PPO)와 같은 세 가지 모델리스 딥 RL 알고리즘을 구현하고 훈련시켰다.
• 조밀한 보상 함수와 희박한 보상 함수를 설계함: 조밀한 보상은 기하학적 및 공정 품질 지표에 기반해 각 단계에서 피드백을 제공하는 반면, 희박한 보상은 최종 성공 또는 실패 여부만 신호한다.
• 누적 보상 최대화를 위해 하이퍼파ram터를 튜닝하였으며, SAC는 탐색과 이용의 균형을 위해 온도 파ram터를 통한 엔트로피 정규화를 사용했다.
• DQN과 SAC는 오프-폴리시 학습을, PPO는 온-폴리시 학습을 사용하며, 안정성을 확보하기 위해 DQN과 SAC에서 경험 재생 및 타겟 네트워크를 활용했다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 고차원 적층 제조 설계 공간에서 도구 경로 전략을 효과적으로 최적화할 수 있는가?
• RQ2 DQN, SAC, PPO와 같은 다양한 모델리스 RL 알고리즘이 조밀한 보상과 희박한 보상 구조에서 최적의 도구 경로를 학습하는 데 어떻게 성능을 내는가?
• RQ3 밀도 높은 단계별 보상의 존재가 도구 경로 설계에서 학습 효율성과 최종 성능을 크게 향상시키는가?
• RQ4 다른 RL 벤치마크에서 뛰어난 성능를 보였음에도 불구하고, SAC는 이 특정 도구 경로 최적화 작업에서 성능이 열 劣하는 이유는 무엇인가?
• RQ5 PPO와 같은 온-폴리시 알고리즘이 훨씬 더 많은 훈련 샘플을 요구함에도 불구하고, 얼마나 높은 수준의 해결책을 달성할 수 있는가?

주요 결과

• 조밀한 보상 설정에서 DQN과 PPO는 수동으로 코딩된 진동형 도구 경로를 능가하며, 각각 59.31과 62.98의 점수를 기록했다.
• DQN은 PPO보다 10배 적은 샘플로 안정된 해에 도달하여 이 작업에서 뛰어난 샘플 효율성을 보였다.
• SAC는 조밀한 설정에서 가장 낮은 점수(38.71)를 기록하여 이 특정 도구 경로 최적화 문제에 부적합하다는 것을 시사한다.
• 희박한 보상 설정에서는 PPO가 가장 높은 점수(40.54)를 기록했고, SAC는 가장 열 劣한 성능(5.11)을 보이며 희박한 피드백 환경에서 학습 능력이 떨어지는 것으로 나타났다.
• 결과는 조밀한 보상이 효과적인 학습에 필수적이며, 보상 형상화가 적용될 경우 고차원 제조 설계에 대해 모델리스 RL이 실현 가능하다는 것을 보여준다.
• PPO의 높은 샘플 요구량은 실용성을 제한하며, 실재 실험 데이터를 통합한 하이브리드 모델리스/모델기반 접근법의 필요성을 부각시킨다.