[논문 리뷰] Multi-plane denoising diffusion-based dimensionality expansion for 2D-to-3D reconstruction of microstructures with harmonized sampling

Kang‐Hyun Lee, Gun Jin Yun|arXiv (Cornell University)|2023. 08. 27.

Generative Adversarial Networks and Image SynthesisComputer Science인용 수 3

한 줄 요약

이 논문은 2D에서 3D로의 미세구조 복원을 위한 새로운 확산 기반 생성 모델 프레임워크인 Micro3Diff를 제안한다. 이는 사전 훈련된 2D 노이즈 제거 확산 모델(DGMs)을 활용하고, 다중 평면 노이즈 제거 확산과 조율된 샘플링을 도입하여 차원 확장 과정에서 3D 공간 연결성과 형태적 정확성을 유지한다. 이 방법은 높은 형태적 유사도를 유지하면서 단일 2D 미세구조 영상에서 다양한 연결된 3D 미세구조를 성공적으로 생성한다.

ABSTRACT

Acquiring reliable microstructure datasets is a pivotal step toward the systematic design of materials with the aid of integrated computational materials engineering (ICME) approaches. However, obtaining three-dimensional (3D) microstructure datasets is often challenging due to high experimental costs or technical limitations, while acquiring two-dimensional (2D) micrographs is comparatively easier. To deal with this issue, this study proposes a novel framework for 2D-to-3D reconstruction of microstructures called Micro3Diff using diffusion-based generative models (DGMs). Specifically, this approach solely requires pre-trained DGMs for the generation of 2D samples, and dimensionality expansion (2D-to-3D) takes place only during the generation process (i.e., reverse diffusion process). The proposed framework incorporates a new concept referred to as multi-plane denoising diffusion, which transforms noisy samples (i.e., latent variables) from different planes into the data structure while maintaining spatial connectivity in 3D space. Furthermore, a harmonized sampling process is developed to address possible deviations from the reverse Markov chain of DGMs during the dimensionality expansion. Combined, we demonstrate the feasibility of Micro3Diff in reconstructing 3D samples with connected slices that maintain morphologically equivalence to the original 2D images. To validate the performance of Micro3Diff, various types of microstructures (synthetic and experimentally observed) are reconstructed, and the quality of the generated samples is assessed both qualitatively and quantitatively. The successful reconstruction outcomes inspire the potential utilization of Micro3Diff in upcoming ICME applications while achieving a breakthrough in comprehending and manipulating the latent space of DGMs.

연구 동기 및 목표

• 미세CT 영상 촬영의 높은 실험 비용과 기술적 제약으로 인해 3D 미세구조 데이터셋이 제한적인 문제를 해결하기 위해.
• 사전 훈련된 생성 모델을 활용하여 단일 2D 미세구조 영상에서 데이터 효율적인 3D 미세구조 복원을 가능하게 하기 위해.
• 차원 확장 과정에서 형태적 유사성과 공간 연결성을 유지하는 방법을 개발하기 위해.
• 재료 과학 분야에서 차원 간 생성 모델링을 위한 확산 모델의 잠재 변수 조작 가능성을 탐색하기 위해.

제안 방법

• 3D 생성을 위한 사전 훈련된 2D 노이즈 제거 확산 모델(DGMs)을 사전 지식로 활용하여 3D 전용 훈련이 필요 없도록 한다.
• 다중 평면 노이즈 제거 확산을 도입하여 다수의 2D 평면에서 동시에 잠재 변수를 노이즈 제거함으로써 3D 볼륨을 재구성하면서 공간 연결성을 유지한다.
• 역 마르코프 체인 경로에서의 편차를 보정하기 위해 조율된 샘플링 프로세스를 적용하여 2D DGM이 학습한 분포와의 일관성을 확보한다.
• 64×64 미세구조 영상에서 훈련된 1000단계 노이즈 추가 및 선형 스케줄을 사용하는 U-Net 기반 아키텍처를 2D-DGM에 적용한다.
• 차원 확장을 오직 역확산 과정 동안에만 수행하며, 서로 다른 평면의 잠재 노이즈를 입력으로 사용한다.
• 정성적 및 정량적 지표를 사용하여 합성 및 실제 미세구조(예: NMC 정극재 및 탄산염)에서 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 2D DGM을 미세조정 없이 3D 미세구조 생성에 효과적으로 활용할 수 있는가?
• RQ2 확산 모델에서 2D에서 3D로의 차원 확장 과정에서 공간 연결성과 형태적 정확성을 어떻게 유지할 수 있는가?
• RQ3 조율된 샘플링 프로세스가 3D 생성 중 역확산 과정에서의 경로 편차를 어느 정도 보정할 수 있는가?
• RQ4 생성된 3D 미세구조는 실제 3D 데이터와 형태적 및 통계적 유사성 측면에서 어떻게 비교되는가?
• RQ5 Micro3Diff는 단일 2D 입력 영상에서 다양한 현실적인 3D 미세구조를 생성할 수 있는가?

주요 결과

• Micro3Diff는 다양한 미세구조 유형에서 원본 2D 영상과 형태적으로 유사한 연결된 슬라이스를 갖는 3D 미세구조를 성공적으로 복원한다.
• 탄산염 데이터셋에서 S2의 최대 오차율은 9.21%, LP는 6.31%를 기록하여 훈련 데이터 다양성이 제한됨에도 불구하고 강력한 형태적 정확성을 입증한다.
• 생성된 3D 샘플은 실제 3D 미세구조와 유사한 시각적 품질과 공간 상관관계를 보이며, 단일 2D 입력에서 타당한 3D 구조를 발견할 수 있음을 입증한다.
• 이 프레임워크는 단일 2D 미세구조 영상에서 다수의 다양한 3D 볼륨을 생성할 수 있어 재료 거동의 통계적 평가를 지원한다.
• 조율된 샘플링 프로세스는 역마르코프 체인에서의 편차를 효과적으로 완화하여 생성 일관성을 향상시킨다.
• 이 방법은 ICME 응용에 대한 실현 가능성을 입증하고, 재료 과학 분야에서 DGM의 잠재공간 조작을 위한 새로운 길을 열어준다.