[論文レビュー] Toolpath design for additive manufacturing using deep reinforcement learning

Mojtaba Mozaffar, Ablodghani Ebrahimi+1 more|arXiv (Cornell University)|Sep 30, 2020

Additive Manufacturing and 3D Printing Technologies参考文献 10被引用数 4

ひとこと要約

本稿では、金属基盤アディティブマニュファクチャリングにおけるツールパス設計を最適化するためのディープ強化学習フレームワークを提案する。プロセスを強化学習問題としてモデル化し、DQN、SAC、PPOのアルゴリズムを用いて、モデルフリー強化学習が、特に密度の高い報酬構造において高い性能を発揮することを示している。DQNとPPOは手動で設計されたジグザグツールパスを上回るが、SACはこのタスク文脈における不安定性のため性能が劣る。

ABSTRACT

Toolpath optimization of metal-based additive manufacturing processes is currently hampered by the high-dimensionality of its design space. In this work, a reinforcement learning platform is proposed that dynamically learns toolpath strategies to build an arbitrary part. To this end, three prominent model-free reinforcement learning formulations are investigated to design additive manufacturing toolpaths and demonstrated for two cases of dense and sparse reward structures. The results indicate that this learning-based toolpath design approach achieves high scores, especially when a dense reward structure is present.

研究の動機と目的

• 金属基盤アディティブマニュファクチャリングのツールパス最適化における高次元設計空間の課題に対処すること。
• 環境に関する事前知識がなくても、モデルフリー強化学習が最適なツールパス戦略を効果的に学習できるかどうかを調査すること。
• DQN、SAC、PPOという3つの最先端のディープRLアルゴリズムが、密度の高い報酬と疎な報酬の両設定下でツールパス生成に与える性能を比較すること。
• シミュレーテッドAM環境において、これらのアルゴリズムのサンプル効率性と収束行動を評価すること。
• エンジニアリングされた密度の高い報酬が、複雑な製造タスクにおける学習性能を顕著に向上させることを実証すること。

提案手法

• ツールパス設計問題は、エージェントが環境の状態に基づいて行動（ツールパス移動）を選択するマルコフ決定過程（MDP）として定式化される。
• ビルドの現在のジオメトリと堆積履歴に基づく状態表現を用いて、アディティブマニュファクチャリングプロセスをモデル化するカスタムシミュレーション環境を構築した。
• Tensorflowライブラリを用いて、ディープQネットワーク（DQN）、ソフトアクタクリティック（SAC）、プロキシマルポリシーオプティマイゼーション（PPO）の3つのモデルフリー深層RLアルゴリズムを実装・訓練した。
• 密度の高い報酬関数と疎な報酬関数を設計した：密度の高い報酬は、幾何的およびプロセス品質指標に基づき、各ステップでフィードバックを提供するが、疎な報酬は最終的に成功または失敗の信号のみを提供する。
• 累積報酬を最大化するためにハイパーパramータをチューニングした。SACは報酬の探索と活用のバランスを取るために、温度パラメータによるエントロピー正則化を用いた。
• DQNとSACではオフポリシー学習、PPOではオンポリシー学習を用い、DQNとSACでは安定性を高めるために経験リプレイとターゲットネットワークを用いた。

実験結果

リサーチクエスチョン

• RQ1 ディープ強化学習は、高次元のアディティブマニュファクチャリング設計空間において、ツールパス戦略を効果的に最適化できるか？
• RQ2 DQN、SAC、PPOという異なるモデルフリーRLアルゴリズムは、密度の高い報酬構造と疎な報酬構造の下で、最適なツールパスを学習する際にどのように性能を発揮するか？
• RQ3 密度の高い、ステップバイステップの報酬が、ツールパス設計における学習効率性と最終的な性能を顕著に向上させるか？
• RQ4 他のRLベンチマークで優れた性能を示すSACが、この特定のツールパス最適化タスクではなぜ性能が劣るのか？
• RQ5 PPOのようなオンポリシー手法は、はるかに多くのトレーニングサンプルを必要とするにもかかわらず、どの程度優れた解決策を達成できるか？

主な発見

• 密度の高い報酬設定下では、DQNとPPOは手動でコーディングされたジグザグツールパスを上回り、それぞれ59.31および62.98のスコアを達成した。
• DQNはPPOの10分の1のサンプル数で安定した解に到達したため、このタスクにおいて優れたサンプル効率性を示した。
• SACは密度の高い設定で最も低いスコア（38.71）を記録し、この特定のツールパス最適化問題には不適切であることが示唆された。
• 疎な報酬設定下では、PPOが最も高いスコア（40.54）を達成したが、SACは最悪のスコア（5.11）を記録し、疎なフィードバック下での学習能力が著しく劣ることが示された。
• 結果から、密度の高い報酬が効果的な学習に不可欠であり、報酬設計を施したモデルフリーRLが高次元の製造設計に適用可能であることが明らかになった。
• PPOの高いサンプル要件は、実験的データを統合するハイブリッドなモデルフリー／モデルベースのアプローチの必要性を強調しており、実用的でない。