[論文レビュー] 3D microstructural generation from 2D images of cement paste using generative adversarial networks

Xin Zhao, Lin Wang+10 more|arXiv (Cornell University)|Apr 4, 2022

3D Surveying and Cultural Heritage被引用数 4

ひとこと要約

本稿では、1枚の2次元バックスクレーテッドエレクトロン（BSE）像から、固体テクスチャ合成（STS）を用いて高品質な3次元硬化セメントペースト微細組織を生成する深層学習ベースの手法を提案する。この手法は、マルコフ確率場（MRF）ベースのモデルと、畳み込みニューラルネットワーク（CNN）ベースの敵対的生成ネットワーク（GAN）モデルの両方を採用しており、孔隙率、粒子径分布、グレーレベル同時発生行列（GLCM）指標において、実際の3次元マイクロCTデータと強い類似性を示す定量的結果を得ている。

ABSTRACT

Establishing a realistic three-dimensional (3D) microstructure is a crucial step for studying microstructure development of hardened cement pastes. However, acquiring 3D microstructural images for cement often involves high costs and quality compromises. This paper proposes a generative adversarial networks-based method for generating 3D microstructures from a single two-dimensional (2D) image, capable of producing high-quality and realistic 3D images at low cost. In the method, a framework (CEM3DMG) is designed to synthesize 3D images by learning microstructural information from a 2D cross-sectional image. Experimental results show that CEM3DMG can generate realistic 3D images of large size. Visual observation confirms that the generated 3D images exhibit similar microstructural features to the 2D images, including similar pore distribution and particle morphology. Furthermore, quantitative analysis reveals that reconstructed 3D microstructures closely match the real 2D microstructure in terms of gray level histogram, phase proportions, and pore size distribution. The source code for CEM3DMG is available in the GitHub repository at: https://github.com/NBICLAB/CEM3DMG.

研究の動機と目的

• 硬化セメントペーストのコスト効率的で高品質な3次元微細組織画像化の不足を補う。
• マイクロCTやFIB-SEMといった従来の3次元画像化技術の限界（高コスト、時間消費、視野制限）を克服する。
• フェーズセグメンテーションを必要とせず、1枚の高品質な2次元BSE像から、現実的な3次元微細組織を合成する手法を開発する。
• 深層学習ベースの固体テクスチャ合成を活用し、孔隙率、粒子径、テクスチャパターンなどの微細組織特徴を保持する。
• 材料科学分野の研究およびシミュレーションにおけるスケーラブルで効率的な3次元微細組織生成を可能にする。

提案手法

• 走査型電子顕微鏡（SEM）を用いて、硬化セメントペーストの高解像度2次元バックスクレーテッドエレクトロン（BSE）像を取得する。
• 固体テクスチャ合成（STS）技術を適用し、2次元微細組織情報を空間的・テクスチャ的特性を保持したまま3次元空間に拡張する。
• 2種類の異なるモデルを実装する：近接領域最適化に用いるマルコフ確率場（MRF）ベースのモデルと、深層特徴学習に用いるCNNベースのGANモデル。
• CNNベースのモデルのための統計的特徴抽出にVGG-19ネットワークを活用し、敵対的学習により現実的なテクスチャ生成を実現する。
• 位置およびインデックスヒストグラムを統合して合成プロセスをガイドし、3次元における空間的・強度的対応を正確に保証する。
• GANベースのモデルを1枚の2次元例示画像上で学習させ、任意サイズの3次元ボリュームを生成する。一方、MRFモデルは事前学習を必要とせず、反復的最適化を実行する。

実験結果

リサーチクエスチョン

• RQ1 1枚の2次元BSE像を用いて、実際のセメントペーストと同等の物理的およびテクスチャ的特徴を持つ3次元微細組織を合成可能か？
• RQ2 MRFベースとCNNベースのSTSモデルは、3次元セメント微細組織生成において、忠実度と効率性の点でどのように比較されるか？
• RQ3 合成された3次元微細組織は、孔隙率、粒子径分布、GLCM特徴といった主要指標において、実際の3次元マイクロCTデータとどの程度一致するか？
• RQ4 MRFベースとCNNベースのモデルの間で、生成品質と計算時間のトレードオフはどのようなものか？
• RQ5 深層学習ベースのSTS手法は、フェーズセグメンテーションを必要とせずに、従来手法が捉えきれない複雑な微細組織特徴を克服できるか？

主な発見

• 両モデルが生成した3次元微細組織は、実際の3次元マイクロCTデータと視覚的に類似しており、STSベースの手法の有効性が確認された。
• MRFベースのモデルは均一性指標（平均6.48 vs. 5.33）でCNNベースのモデルを上回り、構造的一致性の保持が優れていることが示された。
• CNNベースのモデルは、256×256×256ボリュームに対してわずか0.15時間（9分）の推論時間で、MRFベースのモデルの1.13時間を大幅に上回る高速性を達成した。
• MRFベースのモデルは学習時間を要しないが、CNNベースのモデルは1例あたり3.3時間の学習を要するため、単一用途のケースでは非効率である。
• 両モデルとも、実際のマイクロCTデータと同等の孔隙率および粒子径分布を再現しており、物理的正確性が裏付けられた。
• 合成された3次元ボリュームのGLCMコントラストおよび均一性指標は、実際の3次元マイクロCTスキャンと統計的に近い値であり、テクスチャの忠実度が確認された。