[論文レビュー] Local Conditional Neural Fields for Versatile and Generalizable Large-Scale Reconstructions in Computational Imaging

Hao Wang, Zhu, Jiabei+3 more|arXiv (Cornell University)|Jul 12, 2023

Advanced X-ray Imaging Techniques被引用数 4

ひとこと要約

本論文では、計算画像法におけるスケーラブルで一般化可能かつ高精度な大規模位相再構成を可能にする、連続的で暗黙的なニューラル表現フレームワーク、Local Conditional Neural Fields (LCNF) を提案する。測定固有の潜在コードと局所的条件付きデコーダーを組み合わせることで、限られたまたはシミュレートされたデータで学習した場合でも、少数の多重化フーリエ・プチグラフィー測定からのロバストなスーパーサンプリング再構成を達成する。1枚のGPUで1ピクセルあたり約1×10⁻⁵秒の推論速度を実現する。

ABSTRACT

Deep learning has transformed computational imaging, but traditional pixel-based representations limit their ability to capture continuous, multiscale details of objects. Here we introduce a novel Local Conditional Neural Fields (LCNF) framework, leveraging a continuous implicit neural representation to address this limitation. LCNF enables flexible object representation and facilitates the reconstruction of multiscale information. We demonstrate the capabilities of LCNF in solving the highly ill-posed inverse problem in Fourier ptychographic microscopy (FPM) with multiplexed measurements, achieving robust, scalable, and generalizable large-scale phase retrieval. Unlike traditional neural fields frameworks, LCNF incorporates a local conditional representation that promotes model generalization, learning multiscale information, and efficient processing of large-scale imaging data. By combining an encoder and a decoder conditioned on a learned latent vector, LCNF achieves versatile continuous-domain super-resolution image reconstruction. We demonstrate accurate reconstruction of wide field-of-view, high-resolution phase images using only a few multiplexed measurements. LCNF robustly captures the continuous object priors and eliminates various phase artifacts, even when it is trained on imperfect datasets. The framework exhibits strong generalization, reconstructing diverse objects even with limited training data. Furthermore, LCNF can be trained on a physics simulator using natural images and successfully applied to experimental measurements on biological samples. Our results highlight the potential of LCNF for solving large-scale inverse problems in computational imaging, with broad applicability in various deep-learning-based techniques.

研究の動機と目的

• ピクセルベースのディープラーニングの計算画像法における限界、特に連続的・マルチスケールのオブジェクト詳細の表現が不可能で、広い視野にスケーラビリティに欠ける点を解決すること。
• オブジェクトごとに再学習が必要なか、またはグローバルな潜在コードに依存する既存のニューラルフィールド手法の一般化性と計算効率の低さを克服すること。
• 1つの学習済みモデルを用いて最小限の多重化測定から高精度で広視野の位相再構成を可能にすること。
• 不完全で限られた、またはシミュレートされたデータセットで学習した場合のフレームワークのロバストネスを評価すること。

提案手法

• LCNFは、測定固有の特徴を抽出し、それらを潜在空間にマップするためのCNNエンコーダーを採用し、局所的条件付き表現を可能にする。
• 学習可能なMLPデコーダーが、潜在ベクトルを条件入力として用いて、任意の空間座標における連続的位相値を再構成する。
• 座標ベースの表現を採用し、空間座標を多層パーセプトロンを介して物理的位相値にマッピングすることで、解像度に依存しない合成を実現する。
• 局所的条件付けにより、再訓練なしに多様なオブジェクトに対してマルチスケール特徴を捉え、一般化を可能にする。
• 推論はグリッド上の密集した座標クエリを用い、広視野画像処理におけるGPUメモリ制約を管理するためにピクセル単位の再構成が用いられる。
• 予測された位相マップと真値マップのピクセル単位の損失を用いて、エンドツーエンドでモデルを学習する。トレーニング中にデータオーグメンテーションと正規化が適用される。

Figure 1: Conceptual illustration of our LCNF framework for FPM reconstruction. (a) LCNF employs a CNN encoder to learn measurement-specific information and encode them into a latent-space representation. The MLP decoder reconstructs the phase values at specific locations with an increased spatial r

実験結果

リサーチクエスチョン

• RQ1 限られたまたは不完全な実験データで学習した場合でも、連続的ニューラルフィールド表現が多様な生物学的サンプルに一般化可能か？
• RQ2 グローバルな潜在コードと比較して、局所的条件付けがニューラルフィールドにおける一般化性とマルチスケール特徴学習をどのように向上させるか？
• RQ3 シミュレートされた自然画像で学習したモデルが、フーリエ・プチグラフィー顕微鏡の実験的測定にどの程度一般化可能か？
• RQ4 大規模で広視野の位相再構成に対して、このフレームワークの推論効率とスケーラビリティはどの程度か？

主な発見

• LCNFは、わずか数個の多重化測定からの1500×1500ピクセル位相画像を高精度に再構成し、NVIDIA Quadro RTX8000 GPU上で約25秒の推論時間を達成した。
• 250×250ピクセルのパッチを25個に分けてステッチすることで、12960ピクセルの直径を持つ広視野位相画像を再構成し、1枚のGPUメモリ制限を超えたスケーラビリティを示した。
• 1つの実験画像ペア（例：Hela-E(1)）で学習したネットワークでも、意味的な再構成品質を達成しており、最小限のデータからの強力な一般化を示した。
• シミュレートされた自然画像で学習したモデルが、実際の生物学的サンプルに効果的に一般化され、トレーニングに実験的データを一切使用しない状態で競争力のある再構成品質を達成した。
• 不完全なデータセットで学習した場合でも、位相アーティファクトを低減し、連続的なオブジェクト事前知識を捉えることができ、分布シフトに対してロバストであることを示した。
• 平均して1ピクセルあたり約1×10⁻⁵秒の推論速度を達成し、高解像度画像の効率的再構成を可能にした。

Figure 2: Reconstruction results using the LCNF trained with our experimental dataset. An example of BF low-resolution intensity image, the model-based FPM reconstruction, and our LCNF network-based reconstruction for (a) Hela cells fixed with ethanol, and (b) Hela cells fixed with formalin. Subarea