[논문 리뷰] Zero-Shot Learning of Continuous 3D Refractive Index Maps from Discrete Intensity-Only Measurements

Renhao Liu, Yu Sun외 3명|arXiv (Cornell University)|2021. 11. 27.

Digital Holography and Microscopy참고 문헌 60인용 수 4

한 줄 요약

DeCAF는 강도 회절 단층촬영(IDT)에서 각도가 제한된, 강도만 있는 측정값으로부터 0-샷 3D 굴절률(RI) 재구성에 있어 신경장 기반 방법으로서 최초의 방법이다. 이는 외부 학습 데이터 없이 데이터로부터 직접 연속적이고 아티팩트가 없는 RI 볼륨 표현을 학습하여, 다양한 IDT 모달리티와 생물학적 샘플에서 고대비 재구성을 달성한다.

ABSTRACT

Intensity diffraction tomography (IDT) refers to a class of optical microscopy techniques for imaging the 3D refractive index (RI) distribution of a sample from a set of 2D intensity-only measurements. The reconstruction of artifact-free RI maps is a fundamental challenge in IDT due to the loss of phase information and the missing cone problem. Neural fields (NF) has recently emerged as a new deep learning (DL) paradigm for learning continuous representations of complex 3D scenes without external training datasets. We present DeCAF as the first NF-based IDT method that can learn a high-quality continuous representation of a RI volume directly from its intensity-only and limited-angle measurements. We show on three different IDT modalities and multiple biological samples that DeCAF can generate high-contrast and artifact-free RI maps.

연구 동기 및 목표

• 강도만 있는, 각도가 제한된 측정값으로부터 아티팩트가 없는 3D 굴절률(RI) 맵을 재구성하는 근본적인 과제를 해결한다.
• 강도만 있는 측정값에서 내재된 부족한 원추 문제와 위상 손실을 해결하기 위해 연속적인 3D RI 표현을 학습한다.
• 외부 레이블이 부여된 학습 데이터셋이 필요 없이 신경장을 활용하여 암묵적 시나리오 표현을 통해 RI 볼륨의 0-샷 학습을 가능하게 한다.
• 다양한 IDT 모달리티와 생물학적 샘플에 걸쳐 일반화되면서도 고해상도 재구성 정확도와 대비를 유지하는 방법을 개발한다.

제안 방법

• 공간 좌표의 연속적이고 미분 가능한 함수로 3D 굴절률 볼륨을 암묵적으로 표현하기 위해 신경장(NF)을 활용한다.
• 위상 또는 기준 RI 데이터가 필요 없이, 제한된 각도에서 확보한 강도만 있는 투영 데이터를 사용해 신경장을 학습한다.
• 빛의 전파를 시뮬레이션하는 미분 가능한 정방식으로 전방 모델을 설정하여 영상 과정을 통해 역전파를 가능하게 한다.
• 미분 가능한 영상 시뮬레이터를 사용하여 예측된 강도와 측정된 강도 간의 차이를 최소화함으로써 신경장의 파라미터를 최적화한다.
• 신경장의 인덕티브 바이어스를 활용하여, 데이터가 불완전한 경우에도 솔루션을 암묵적으로 정규화하고 아티팩트를 억제한다.
• 특정 샘플에 대한 미세조정 없이도 원시 강도 측정값에서 직접 연속적인 RI 맵을 예측함으로써 0-샷 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경장 기반 접근법은 외부 학습 데이터 없이 강도만 있는, 각도가 제한된 측정값으로부터 고품질의 연속적인 3D 굴절률 맵을 재구성할 수 있는가?
• RQ2 제안된 방법은 다양한 IDT 모달리티와 다양한 생물학적 샘플에 걸쳐 얼마나 잘 일반화되는가?
• RQ3 伝통적인 IDT 재구성 기법과 비교해 볼 때, 이 방법은 아티팩트와 부족한 원추 문제를 어느 정도 완화하는가?
• RQ4 신경장의 암묵적 정규화가 심각하게 불완전한 데이터가 있는 상황에서도 아티팩트가 없는 재구성을 가능하게 하는가?

주요 결과

• DeCAF는 외부 학습 데이터가 전혀 필요 없이 강도만 있는, 각도가 제한된 측정값으로부터 고대비, 아티팩트가 없는 3D 굴절률 맵을 성공적으로 재구성한다.
• 이 방법은 세 가지 다른 IDT 모달리티와 여러 생물학적 샘플에 걸쳐 일반화되며, 강건성과 0-샷 능력을 입증한다.
• 신경장의 인덕티브 바이어스를 활용함으로써 DeCAF는 부족한 원추 문제를 효과적으로 완화하고 재구성 아티팩트를 억제한다.
• DeCAF가 학습한 연속적 표현은 원시 강도 투영에서 직접 고해상도 RI 볼륨 재구성을 가능하게 하여, 시각적 품질과 구조적 충실도 면에서 전통적 방법을 능가한다.