[논문 리뷰] 3D microstructural generation from 2D images of cement paste using generative adversarial networks

Xin Zhao, Lin Wang외 10명|arXiv (Cornell University)|2022. 04. 04.

3D Surveying and Cultural Heritage인용 수 4

한 줄 요약

이 논문은 고체 텍스처 합성(_STS)을 사용하여 단일 2D 배경산산산산전자(BSE) 영상에서 경화 시멘트 풀의 고품질 3D 미세구조를 생성하는 딥러닝 기반 방법을 제안한다. 이 방법은 마르코프 무작위 필드(MRF) 기반 모델과 컨volutional 네트워크(CNN) 기반 생성 적대 신경망(GAN) 모델을 모두 활용하며, 정량적 결과로 실제 3D 미세구조-CT 데이터와 밀도, 입자 크기 분포, 회색 수준 공존 행렬(GLCM) 지표에서 강한 유사성을 보여준다.

ABSTRACT

Establishing a realistic three-dimensional (3D) microstructure is a crucial step for studying microstructure development of hardened cement pastes. However, acquiring 3D microstructural images for cement often involves high costs and quality compromises. This paper proposes a generative adversarial networks-based method for generating 3D microstructures from a single two-dimensional (2D) image, capable of producing high-quality and realistic 3D images at low cost. In the method, a framework (CEM3DMG) is designed to synthesize 3D images by learning microstructural information from a 2D cross-sectional image. Experimental results show that CEM3DMG can generate realistic 3D images of large size. Visual observation confirms that the generated 3D images exhibit similar microstructural features to the 2D images, including similar pore distribution and particle morphology. Furthermore, quantitative analysis reveals that reconstructed 3D microstructures closely match the real 2D microstructure in terms of gray level histogram, phase proportions, and pore size distribution. The source code for CEM3DMG is available in the GitHub repository at: https://github.com/NBICLAB/CEM3DMG.

연구 동기 및 목표

• 경화 시멘트 풀에 대한 비용 효율적이고 고품질의 3D 미세구조 영상의 부족을 해결하기 위해.
• Micro-CT와 FIB-SEM과 같은 기존 3D 영상 기술의 한계를 극복하기 위해, 이는 비용이 많이 들고 시간이 오래 걸리거나 시야 범위가 제한되어 있기 때문이다.
• 단일 고품질 2D BSE 영상으로부터 단계 분할이 필요 없는 현실적인 3D 미세구조를 합성하는 방법을 개발하기 위해.
• 딥러닝 기반 고체 텍스처 합성을 활용하여 다공도, 입자 크기, 텍스처 패턴과 같은 미세구조적 특성을 유지하기 위해.
• 재료 과학 연구 및 시뮬레이션을 위한 확장 가능하고 효율적인 3D 미세구조 생성을 가능하게 하기 위해.

제안 방법

• 스캐닝 전자현미경(SEM)을 사용하여 경화 시멘트 풀의 고해상도 2D 배경산산산산전자(BSE) 영상을 확보한다.
• 고체 텍스처 합성(_STS) 기법을 적용하여 2D 미세구조 정보를 공간적 및 텍스처적 특성을 유지한 채 3D 공간으로 확장한다.
• 두 가지 별도의 모델을 구현한다: 이웃 최적화를 위한 마르코프 무작위 필드(MRF) 기반 모델과 깊은 특징 학습을 위한 컨volutional 네트워크(CNN) 기반 GAN 모델.
• CNN 기반 모델의 경우 VGG-19 네트워크를 사용해 통계적 특징을 추출하여 적대적 훈련을 통해 현실적인 텍스처 생성을 가능하게 한다.
• 합성 과정을 안내하기 위해 위치 및 인덱스 히스토GRAM을 통합하여 3D 공간에서 정확한 공간적 및 강도 대응을 보장한다.
• 단일 2D 예시로 GAN 기반 모델을 훈련시켜 임의의 크기의 3D 볼륨을 생성하며, MRF 모델은 사전 훈련 없이 반복 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 단일 2D BSE 영상로 실제 시멘트 풀의 물리적 및 텍스처적 특성을 반영한 3D 미세구조를 합성할 수 있는가?
• RQ2 MRF 기반 및 CNN 기반 STS 모델은 3D 시멘트 미세구조 생성에서 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ3 합성된 3D 미세구조가 다공도, 입자 크기 분포, GLCM 특성과 같은 핵심 지표에서 실제 3D 미세구조-CT 데이터와 얼마나 유사한가?
• RQ4 MRF 기반 모델과 CNN 기반 모델 간에 생성 품질과 계산 시간 사이의 상충 관계는 어떠한가?
• RQ5 딥러닝 기반 STS 방법은 단계 분할 없이도 기존 방법이 포착하지 못한 복잡한 미세구조적 특성을 극복할 수 있는가?

주요 결과

• 두 모델이 생성한 3D 미세구조는 실제 3D 미세구조-CT 데이터와 시각적으로 유사성을 보이며, STS 기반 접근의 효과성을 확인한다.
• MRF 기반 모델은 균일성 지표(평균 6.48 대 5.33)에서 CNN 기반 모델을 능가하여 더 나은 구조 일관성 유지 능력을 보인다.
• CNN 기반 모델은 훨씬 빠른 추론 시간을 기록한다—256×256×256 볼륨 기준 0.15시간(9분)으로, MRF 기반 모델의 1.13시간보다 빠르다.
• MRF 기반 모델은 훈련 시간이 전혀 필요로 하며, CNN 기반 모델은 예시당 3.3시간의 훈련 시간이 필요하여 단일 사용 케이스에선 효율성이 떨어진다.
• 두 모델 모두 실제 미세구조-CT 데이터와 유사한 다공도와 입자 크기 분포를 보이며, 물리적 정확성을 검증한다.
• 합성된 3D 볼륨의 GLCM 대trast 및 균일성 지표는 실제 3D 미세구조-CT 스캔과 통계적으로 유사하여 텍스처 정확성을 확인한다.