[論文レビュー] Zero-Shot Learning of Continuous 3D Refractive Index Maps from Discrete Intensity-Only Measurements

Renhao Liu, Yu Sun+3 more|arXiv (Cornell University)|Nov 27, 2021

Digital Holography and Microscopy参考文献 60被引用数 4

ひとこと要約

DeCAF は、強度回折トモグラフィー（IDT）における限られた角度からの強度測定値のみを用いたゼロショット3次元屈折率（RI）再構成のための、神経フィールドに基づく最初の手法である。外部の学習データを必要とせず、データから直接連続的でアーチファクトのないRIボリューム表現を学習し、複数のIDTモダリティおよび生物学的サンプルにおいて高コントラストの再構成を達成する。

ABSTRACT

Intensity diffraction tomography (IDT) refers to a class of optical microscopy techniques for imaging the 3D refractive index (RI) distribution of a sample from a set of 2D intensity-only measurements. The reconstruction of artifact-free RI maps is a fundamental challenge in IDT due to the loss of phase information and the missing cone problem. Neural fields (NF) has recently emerged as a new deep learning (DL) paradigm for learning continuous representations of complex 3D scenes without external training datasets. We present DeCAF as the first NF-based IDT method that can learn a high-quality continuous representation of a RI volume directly from its intensity-only and limited-angle measurements. We show on three different IDT modalities and multiple biological samples that DeCAF can generate high-contrast and artifact-free RI maps.

研究の動機と目的

• 強度のみ、限られた角度からの測定値からアーチファクトのない3次元屈折率（RI）マップを再構成するという根本的な課題に取り組む。
• 強度測定値に内在する欠損円錐問題と位相損失を、連続的な3次元RI表現を学習することで克服する。
• 外部のアノテート済み学習データセットを必要とせず、神経フィールドを用いて暗黙的なシーン表現を活用することで、RIボリュームのゼロショット学習を可能にする。
• 多様なIDTモダリティおよび生物学的サンプルに一般化可能でありながら、高い再構成忠実度とコントラストを維持する手法を開発する。

提案手法

• 神経フィールド（NF）を用いて、空間座標の連続的で微分可能な関数として3次元屈折率ボリュームを暗黙的に表現する。
• 位相データや真値RIデータを必要とせず、限られた角度での強度測定値のみを用いて神経フィールドを学習する。
• 光の伝搬を微分可能なシミュレーションとして前向きモデルを定式化し、画像形成プロセス全体を通じたバックプロパゲーションを可能にする。
• 微分可能な画像形成シミュレータを用いて、予測された強度と測定された強度の差を最小化することで神経フィールドのパラメータを最適化する。
• 神経フィールドのインダクティブバイアスを活用し、不完全なデータでも解法を暗黙的に正則化し、アーチファクトを抑制する。
• 特定のサンプルに合わせたファインチューニングを必要とせず、直接的に生の強度測定値から連続的なRIマップを予測することでゼロショット推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 神経フィールドに基づく手法は、外部学習データを一切必要とせず、強度のみ、限られた角度からの測定値から高品質で連続的な3次元屈折率マップを再構成できるか？
• RQ2 提案手法は、異なるIDTモダリティおよび多様な生物学的サンプルにどの程度一般化できるか？
• RQ3 従来のIDT再構成手法と比較して、この手法はアーチファクトと欠損円錐問題をどの程度効果的に軽減できるか？
• RQ4 神経フィールドの暗黙的正則化は、極めて不完全なデータでもアーチファクトのない再構成を可能にするか？

主な発見

• DeCAF は、外部学習データを一切必要とせず、強度のみ、限られた角度からの測定値から高コントラストでアーチファクトのない3次元屈折率マップを再構成することに成功した。
• 本手法は3つの異なるIDTモダリティおよび複数の生物学的サンプルに一般化可能であり、強靭性とゼロショット能力を示した。
• 神経フィールドのインダクティブバイアスを活用することで、DeCAF は効果的に欠損円錐問題を軽減し、再構成アーチファクトを抑制した。
• DeCAF が学習する連続的表現により、生の強度プロジェクションから直接高忠実度のRIボリューム再構成が可能となり、視覚的品質および構造的忠実度において従来手法を上回った。