[논문 리뷰] Reinforcement Learning-based Defect Mitigation for Quality Assurance of Additive Manufacturing

Jihoon Chung, Bo Shen외 3명|arXiv (Cornell University)|2022. 10. 28.

Additive Manufacturing and 3D Printing Technologies인용 수 4

한 줄 요약

이 논문은 융합 필라멘트 제조(FFF)에서 예측할 수 없는 결함을 완화하기 위해 인쇄 중에 오프라인 문헌 기반 지식과 온라인 학습을 모두 활용하는 모델리스 강화학습 프레임워크인 Continual G-learning을 제안한다. 사전 지식과 실시간 지식을 통합함으로써, 최소한의 샘플 요구량으로도 효과적인 결함 완화를 달성하며, 수치적 및 실제 FFF 사례 연구에서 뛰어난 성능을 보였다.

ABSTRACT

Additive Manufacturing (AM) is a powerful technology that produces complex 3D geometries using various materials in a layer-by-layer fashion. However, quality assurance is the main challenge in AM industry due to the possible time-varying processing conditions during AM process. Notably, new defects may occur during printing, which cannot be mitigated by offline analysis tools that focus on existing defects. This challenge motivates this work to develop online learning-based methods to deal with the new defects during printing. Since AM typically fabricates a small number of customized products, this paper aims to create an online learning-based strategy to mitigate the new defects in AM process while minimizing the number of samples needed. The proposed method is based on model-free Reinforcement Learning (RL). It is called Continual G-learning since it transfers several sources of prior knowledge to reduce the needed training samples in the AM process. Offline knowledge is obtained from literature, while online knowledge is learned during printing. The proposed method develops a new algorithm for learning the optimal defect mitigation strategies proven the best performance when utilizing both knowledge sources. Numerical and real-world case studies in a fused filament fabrication (FFF) platform are performed and demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 시간에 따라 변화하는 공정 조건으로 인해 발생하는 적층 제조에서 실시간 결함 완화의 과제를 해결하기 위해.
• 소량의 맞춤형 AM 생산에서 결함 완화 전략을 학습하기 위해 필요한 훈련 샘플 수를 줄이기 위해.
• 인쇄 중에 획득한 온라인 지식과 문헌에서 얻은 오프라인 지식을 결합한 온라인 학습 프레임워크를 개발하기 위해.
• 적층 제조 공정 중 새로운 결함에 동적으로 대응할 수 있는 모델리스 강화학습 방법을 만들기 위해.
• 제안된 방법의 효과성을 시뮬레이션 및 실제 융합 필라멘트 제조 환경에서 검증하기 위해.

제안 방법

• 이 방법은 실시간으로 결함 완화를 위한 최적의 제어 정책을 학습하기 위해 모델리스 강화학습 접근법을 사용한다.
• 오프라인 지식(문헌에서 유래)과 온라인 지식(인쇄 중 획득)을 통합하여 학습을 가속화하는 새로운 알고리즘인 Continual G-learning을 도입한다.
• 인쇄 중 결함 발생을 방지하고 공정 안정성을 장려하기 위해 설계된 보상 함수를 사용한다.
• 정책과 가치 함수를 표현하기 위해 함수 근사 기법을 적용하여 유사한 결함 상황 간의 일반화를 가능하게 한다.
• 인쇄 과정 중에 수집한 온정책 경험을 바탕으로 정책을 지속적으로 업데이트한다.
• 지식 전이 기법을 사용하여 오프라인 소스에서 유래한 사전 지식을 초기 정책 네트워크로 이관함으로써 샘플 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 강화학습 프레임워크는 적층 제조 공정 중에 새로운 예측 불가능한 결함을 실시간으로 효과적으로 완화할 수 있는가?
• RQ2 인쇄 중에 온라인 학습과 함께 오프라인 문헌 기반 지식을 통합하면 결함 완화에서 샘플 효율성이 어떻게 향상되는가?
• RQ3 온라인 또는 오프라인 지식만을 사용하는 것과 비교해 두 지식 소스를 모두 사용할 경우 성능 향상은 어느 정도인가?
• RQ4 제안된 Continual G-learning 알고리즘은 FFF 인쇄에서 다양한 종류의 결함에 대해 어떻게 강건성과 적응성을 유지하는가?
• RQ5 높은 결함 완화 정확도를 달성하면서도 필요한 훈련 샘플 수를 얼마나 줄일 수 있는가?

주요 결과

• 제안된 Continual G-learning 방법은 오프라인 및 온라인 지식 소스를 효과적으로 통합함으로써 최고의 결함 완화 성능을 달성했다.
• 문헌에서 유래한 사전 지식의 통합이 훈련 샘플 수를 크게 줄였으며, 샘플 효율성이 향상되었다.
• 실제 FFF 사례 연구에서, 이 방법은 인쇄 과정 중에 이전에 본 적 없는 결함을 높은 신뢰도로 효과적으로 완화하였다.
• 모델리스 RL 접근법은 적층 제조의 동적이고 시간에 따라 변화하는 공정 조건에 대해 뛰어난 적응성을 보였다.
• 수치적 연구를 통해, 이 방법은 오직 온라인 학습이나 오프라인 지식에 의존하는 기준 방법보다 뛰어난 성능을 보였다.
• 다양한 결함 유형과 인쇄 시나리오에 걸쳐 강력한 일반화 성능을 보이며, 산업 현장에서의 실용적 적용 가능성을 입증했다.