[論文レビュー] Synthetic-to-real Composite Semantic Segmentation in Additive Manufacturing

Aliaksei Petsiuk, Harnoor Singh+2 more|arXiv (Cornell University)|Oct 14, 2022

Additive Manufacturing and 3D Printing Technologies被引用数 4

ひとこと要約

本稿では、物理ベースレンダリングと画像間スタイル変換を用いて、3Dプリントにおけるセマンティックセグメンテーションのための合成データから実データへのドメイン適応フレームワークを提案する。ドメイン適応の前に実データから合成データへのスタイル変換を適用することで、合成データのみで訓練されたモデルを用いた場合、実3Dプリント画像におけるmIoUを61.10%から75.19%まで向上させ、合成データと実データのドメインギャップを顕著に低減した。

ABSTRACT

The application of computer vision and machine learning methods in the field of additive manufacturing (AM) for semantic segmentation of the structural elements of 3-D printed products will improve real-time failure analysis systems and can potentially reduce the number of defects by enabling in situ corrections. This work demonstrates the possibilities of using physics-based rendering for labeled image dataset generation, as well as image-to-image translation capabilities to improve the accuracy of real image segmentation for AM systems. Multi-class semantic segmentation experiments were carried out based on the U-Net model and cycle generative adversarial network. The test results demonstrated the capacity of detecting such structural elements of 3-D printed parts as a top layer, infill, shell, and support. A basis for further segmentation system enhancement by utilizing image-to-image style transfer and domain adaptation technologies was also developed. The results indicate that using style transfer as a precursor to domain adaptation can significantly improve real 3-D printing image segmentation in situations where a model trained on synthetic data is the only tool available. The mean intersection over union (mIoU) scores for synthetic test datasets included 94.90% for the entire 3-D printed part, 73.33% for the top layer, 78.93% for the infill, 55.31% for the shell, and 69.45% for supports.

研究の動機と目的

• 初心者向けの3Dプリントで最大20%に達する高失敗率の課題に対処し、リアルタイムのイン・サイト欠陊検出を可能にする。
• 高価で時間がかかる実世界のアノテーションに依存するのを減らし、物理ベースレンダリングによる合成データ生成を活用する。
• 画像間変換およびドメイン適応技術を用いて、3Dプリント画像セグメンテーションにおける合成データから実データへのドメインギャップを埋める。
• キャリブレーションや位置合わせの要件を低減する、カメラに依存しない、マーカーなしの監視システムを構築する。
• 単一のカメラと移植可能なディープラーニングモデルを用いて、スケーラブルで低コストな3Dプリント部品の視覚的モニタリングを可能にする。

提案手法

• 3Dプリント部品のGコードファイルからBlenderの物理ベースレンダリングエンジンを用いて、写真のようにリアルな合成学習データを生成した。
• 合成画像上でU-Netベースの多クラスセマンティックセグメンテーションモデルを訓練し、トップレイヤー、インフィル、シェル、サポート構造を識別した。
• 実データから合成データへのスタイル変換（CycleGANを用いて）を実施し、実3Dプリント画像を合成データのスタイルに一致させる。
• スタイル変換済みの実画像を、合成データで訓練されたモデルの入力として使用することで、実データのアノテーションが不要なドメイン適応を実現した。
• 合成および実際のテストセットにおける平均インターセクションオーバーユーティリティ（mIoU）を用いて性能を評価した。
• ドメインシフトの分析とスタイル変換の有効性の検証のため、t-SNE可視化を実施した。

実験結果

リサーチクエスチョン

• RQ1 物理ベースの合成データ生成は、3Dプリント部品のセマンティックセグメンテーションモデルを効果的に訓練できるか？
• RQ2 実データから合成データへの画像スタイル変換は、合成データと実データの3Dプリント画像間のドメインギャップをどの程度低減するか？
• RQ3 微調整が不可能な状況において、スタイル変換を事前処理として用いることで、セグメンテーション精度はどのように向上するか？
• RQ4 スタイル変換によるドメイン適応が、実世界の3Dプリント画像のmIoUスコアに与える影響は何か？
• RQ5 合成データのみで訓練されたモデルが、スタイル変換を経て実画像で十分な性能を達成できるか？

主な発見

• 合成テストデータ全体に対して、モデルは94.90%の高いmIoUを達成した。これは、合成データに対する強力な一般化能力を示している。
• 実3Dプリント画像では、実画像を事前に実→合成スタイル変換した後、mIoUが61.10%から75.19%に向上した。
• 本手法は、実アノテーションが入手不可能な低データ環境において、ドメイン適応の前処理としてのスタイル変換がセグメンテーション性能を顕著に向上させることを示した。
• トップレイヤー（73.33% mIoU）とインフィル（78.93% mIoU）は合成データ上で強いセグメンテーション性能を示したが、シェル（55.31%）とサポート（69.45%）はより困難であった。
• 可視化分析により、スタイル変換がフィラメントのストリングイングや反射などの目立つ視覚的アーチファクトを低減し、セグメンテーションの一貫性を向上させたことが確認された。
• t-SNEプロットにより、スタイル変換がドメインシフトを効果的に低減し、実画像の特徴が合成データの分布に近づいていることが検証された。