[論文レビュー] Multi-plane denoising diffusion-based dimensionality expansion for 2D-to-3D reconstruction of microstructures with harmonized sampling

Kang‐Hyun Lee, Gun Jin Yun|arXiv (Cornell University)|Aug 27, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用数 3

ひとこと要約

本稿では、事前学習済みの2次元ノイズ除去拡散モデル（DGM）を活用し、多平面ノイズ除去拡散および調和サンプリングを導入することで、次元拡張中に3次元空間的接続性と形態的正確性を維持する、2次元から3次元へのマイクロ構造再構成を目的とした新規な拡散ベースの生成モデルフレームワーク、Micro3Diffを提案する。本手法は、1枚の2次元マイクロ構造像から多様で接続された3次元マイクロ構造を生成し、実データと高い形態的同等性を達成する。

ABSTRACT

Acquiring reliable microstructure datasets is a pivotal step toward the systematic design of materials with the aid of integrated computational materials engineering (ICME) approaches. However, obtaining three-dimensional (3D) microstructure datasets is often challenging due to high experimental costs or technical limitations, while acquiring two-dimensional (2D) micrographs is comparatively easier. To deal with this issue, this study proposes a novel framework for 2D-to-3D reconstruction of microstructures called Micro3Diff using diffusion-based generative models (DGMs). Specifically, this approach solely requires pre-trained DGMs for the generation of 2D samples, and dimensionality expansion (2D-to-3D) takes place only during the generation process (i.e., reverse diffusion process). The proposed framework incorporates a new concept referred to as multi-plane denoising diffusion, which transforms noisy samples (i.e., latent variables) from different planes into the data structure while maintaining spatial connectivity in 3D space. Furthermore, a harmonized sampling process is developed to address possible deviations from the reverse Markov chain of DGMs during the dimensionality expansion. Combined, we demonstrate the feasibility of Micro3Diff in reconstructing 3D samples with connected slices that maintain morphologically equivalence to the original 2D images. To validate the performance of Micro3Diff, various types of microstructures (synthetic and experimentally observed) are reconstructed, and the quality of the generated samples is assessed both qualitatively and quantitatively. The successful reconstruction outcomes inspire the potential utilization of Micro3Diff in upcoming ICME applications while achieving a breakthrough in comprehending and manipulating the latent space of DGMs.

研究の動機と目的

• マイクロCTイメージングにおける高い実験コストと技術的制約により、3次元マイクロ構造データセットが限られているという課題に対処すること。
• 事前学習済みの生成モデルを用いて、1枚の2次元マイクロ構造像からデータ効率的な3次元マイクロ構造再構成を可能にすること。
• 次元拡張の過程で、3次元における形態的同等性と空間的接続性を維持する手法を開発すること。
• 材料科学分野における次元間生成モデリングの文脈で、拡散モデルの潜在変数を操作する可能性を検討すること。

提案手法

• 3次元生成のための事前学習済み2次元ノイズ除去拡散モデル（DGM）を事前分布として用い、3次元特有の学習を回避する。
• 多平面ノイズ除去拡散を導入し、複数の2次元平面にわたる潜在変数を同時にノイズ除去することで、空間的接続性を保持したまま3次元ボリュームを再構成する。
• 逆マコフ連鎖の軌道からのずれを是正するため、調和サンプリングプロセスを適用し、2次元DGMが学習した分布と整合性を保つ。
• 64×64のマイクロ構造像で学習された、1000ステップのノイズ付与と線形スケジュールを用いたU-Netベースのアーキテクチャを2次元DGMに採用する。
• 次元拡張を逆拡散プロセス中に限定的に実行し、異なる平面からの潜在ノイズを入力として用いる。
• 定量的・定性的な指標を用いて、合成および実際のマイクロ構造（NMC正極材や炭酸塩を含む）に対してフレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 微調整や3次元データを用いずに、事前学習済み2次元DGMを3次元マイクロ構造生成に効果的に活用できるか？
• RQ2 拡散モデルにおける2次元から3次元への次元拡張の過程で、空間的接続性と形態的正確性をどのように維持できるか？
• RQ3 調和サンプリングプロセスが、3次元生成における逆拡散プロセスの軌道からのずれをどの程度是正できるか？
• RQ4 生成された3次元マイクロ構造は、実際の3次元データと形態的および統計的に同等性を示すか？
• RQ5 Micro3Diffは、1枚の2次元入力画像から多様で現実的である3次元マイクロ構造を生成できるか？

主な発見

• Micro3Diffは、多様なマイクロ構造タイプにわたり、元の2次元画像と同等の形態的正確性を維持した、接続されたスライスを持つ3次元マイクロ構造を効果的に再構成する。
• 炭酸塩データセットにおいて、S2の最大誤差率が9.21%、LPが6.31%にとどまり、訓練データの多様性が限られているにもかかわらず、強い形態的正確性を示している。
• 生成された3次元サンプルは、実際の3次元マイクロ構造と同等の視覚的品質と空間相関を示しており、1枚の2次元入力から妥当な3次元配置を発見できる能力を裏付けている。
• 本フレームワークは、1枚の2次元マイクロ構造像から複数の多様な3次元ボリュームを生成可能であり、材料挙動の統計的評価を支援する。
• 調和サンプリングプロセスは、逆マコフ連鎖からのずれを効果的に低減し、生成の一貫性を向上させた。
• 本手法はICME応用における実現可能性を示しており、材料科学分野におけるDGMの潜在空間操作の新たな道筋を開く。