[論文レビュー] Reinforcement Learning-based Defect Mitigation for Quality Assurance of Additive Manufacturing

Jihoon Chung, Bo Shen+3 more|arXiv (Cornell University)|Oct 28, 2022

Additive Manufacturing and 3D Printing Technologies被引用数 4

ひとこと要約

本稿では、融合フィラメント造形（FFF）アディティブマニュファクチャリングにおける予期しない欠陥を軽減するために、印刷中にオффラインの文献ベースの知識とオンライントレーニングを併用する、モデルフリーの強化学習フレームワーク「Continual G-learning」を提案する。事前知識とリアルタイムの知識を統合することで、最小限のサンプル数で効果的な欠陥軽減を実現し、数値的および実世界のFFFケーススタディにおいて優れた性能を示した。

ABSTRACT

Additive Manufacturing (AM) is a powerful technology that produces complex 3D geometries using various materials in a layer-by-layer fashion. However, quality assurance is the main challenge in AM industry due to the possible time-varying processing conditions during AM process. Notably, new defects may occur during printing, which cannot be mitigated by offline analysis tools that focus on existing defects. This challenge motivates this work to develop online learning-based methods to deal with the new defects during printing. Since AM typically fabricates a small number of customized products, this paper aims to create an online learning-based strategy to mitigate the new defects in AM process while minimizing the number of samples needed. The proposed method is based on model-free Reinforcement Learning (RL). It is called Continual G-learning since it transfers several sources of prior knowledge to reduce the needed training samples in the AM process. Offline knowledge is obtained from literature, while online knowledge is learned during printing. The proposed method develops a new algorithm for learning the optimal defect mitigation strategies proven the best performance when utilizing both knowledge sources. Numerical and real-world case studies in a fused filament fabrication (FFF) platform are performed and demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 時間変動するプロセス条件によるアディティブマニュファクチャリングにおけるリアルタイム欠陥軽減の課題に対処すること。
• 低量・カスタマイズ生産における欠陥軽減戦略の学習に必要なトレーニングサンプル数を削減すること。
• 印刷中に得られるオンライントレーニング知識と、文献からのオフライン知識を統合したオンライン学習フレームワークを構築すること。
• アディティブマニュファクチャリングプロセス中に新しい欠陥に動的に適応可能なモデルフリーの強化学習手法を開発すること。
• 提案手法の有効性を、シミュレーション環境および実世界の融合フィラメント造形環境において検証すること。

提案手法

• 本手法は、リアルタイムでの欠陥軽減のための最適な制御方策を学習するモデルフリーの強化学習アプローチを採用する。
• 文献からのオフライン知識と、印刷中に得られるオンライントレーニング知識を統合することで学習を加速する、新規なアルゴリズム「Continual G-learning」を導入する。
• 印刷中の欠陥発生をペナルティとし、プロセスの安定性を促進するように設計された報酬関数を用いる。
• 関数近似を適用して方策関数と価値関数を表現することで、類似する欠陥シナリオに一般化できるようにする。
• 印刷プロセス中に収集したオンポリシーの経験を用いて、継続的に方策を更新する。
• 知識蒸留技術を用いて、オフラインソースからの事前知識を初期方策ネットワークに転送し、サンプル複雑性を低減する。

実験結果

リサーチクエスチョン

• RQ1 強化学習フレームワークは、アディティブマニュファクチャリングプロセス中に新規かつ予期しない欠陥をリアルタイムで効果的に軽減できるか？
• RQ2 印刷中のオンライントレーニングと、文献ベースのオフライン知識を組み合わせることで、欠陥軽減におけるサンプル効率がどのように向上するか？
• RQ3 オフライン知識とオンライントレーニング知識の両方を用いることで、単独で使用する場合と比較してどの程度性能が向上するか？
• RQ4 提案されたContinual G-learningアルゴリズムは、FFF印刷における多様な欠陥タイプにわたって、どのようにして耐性と適応性を維持するか？
• RQ5 高い欠陥軽減精度を達成しつつ、必要なトレーニングサンプル数をどの程度削減できるか？

主な発見

• 提案されたContinual G-learning手法は、オフラインおよびオンライントレーニング知識の両方を効果的に統合することで、最良の欠陥軽減性能を達成した。
• 文献からの事前知識の統合により、必要なトレーニングサンプル数が顕著に削減され、サンプル効率が向上した。
• 実世界のFFFケーススタディでは、印刷プロセス中に以前に観測されていなかった欠陥を高信頼性で軽減するのに成功した。
• モデルフリーのRLアプローチは、アディティブマニュファクチャリングにおける動的かつ時間変動するプロセス条件に強く適応可能であった。
• 数値的スタディにより、単にオンライントレーニングやオフライン知識に依存するベースライン手法よりも、本手法が優れた性能を示したことが確認された。
• 異なる欠陥タイプや印刷シナリオにわたって、本フレームワークは強力な一般化能力を示し、産業現場での実用的応用可能性を裏付けた。