[논문 리뷰] Physics-driven universal twin-image removal network for digital in-line holographic microscopy

Mikołaj Rogalski, Piotr Arcab외 4명|PubMed|2023. 08. 08.

Digital Holography and Microscopy참고 문헌 47인용 수 5

한 줄 요약

이 논문은 디지털 인라인 홀로그래픽 현미경(DIHM)에서 보편적인 이중영상 노이즈 제거를 위한 물리 기반 딥러닝 네트워크인 UTIRnet을 제안한다. 수치적으로 생성된 홀로그램으로만 훈련된 UTIRnet은 빠르고 강건하며 하드웨어에 종속되지 않는 재구성 성능를 제공하며, 일관된 물리적 정확도를 유지한다. 실험적 훈련 데이터가 필요 없이도 최신 기술 수준의 성능를 달성하였으며, 살아있는 신경질 세포 이동 영상 분석을 통해 검증되었다.

ABSTRACT

Digital in-line holographic microscopy (DIHM) enables efficient and cost-effective computational quantitative phase imaging with a large field of view, making it valuable for studying cell motility, migration, and bio-microfluidics. However, the quality of DIHM reconstructions is compromised by twin-image noise, posing a significant challenge. Conventional methods for mitigating this noise involve complex hardware setups or time-consuming algorithms with often limited effectiveness. In this work, we propose UTIRnet, a deep learning solution for fast, robust, and universally applicable twin-image suppression, trained exclusively on numerically generated datasets. The availability of open-source UTIRnet codes facilitates its implementation in various DIHM systems without the need for extensive experimental training data. Notably, our network ensures the consistency of reconstruction results with input holograms, imparting a physics-based foundation and enhancing reliability compared to conventional deep learning approaches. Experimental verification was conducted among others on live neural glial cell culture migration sensing, which is crucial for neurodegenerative disease research.

연구 동기 및 목표

• 디지털 인라인 홀로그래픽 현미경(DIHM)에서 지속적인 문제로 남아 있는 이중영상 노이즈로 인한 재구성 품질 저하와 정량적 위상 영상의 제약을 해결하기 위해.
• 광범위한 실험적 훈련 데이터나 복잡한 하드웨어 설정이 필요 없이도 보편적이고 빠르며 강건한 이중영상 억제 방법을 개발하기 위해.
• 딥러닝 프레임워크에 물리 기반 제약 조건을 통합하여 재구성의 물리적 일관성을 확보함으로써, 기존의 데이터 기반 접근 방식에 비해 신뢰성을 향상시키기 위해.
• 오픈소스 배포를 통해 생물의학 연구, 특히 신경퇴행성 질환 연구에서의 살아있는 세포 영상 분석에 직접 적용 가능하도록 하기 위해.

제안 방법

• UTIRnet는 물체의 파면을 전파하는 방식을 기반으로 한 각도 스펙트럼 방법을 사용해 수치적으로 시뮬레이션된 홀로그램으로만 훈련되며, 실제 실험 데이터 없이도 물리적 현실성을 확보한다.
• 네트워크 아키텍처는 노이즈가 있는 홀로그램에서 깨끗하고 이중영상이 없는 재구성 이미지로의 역함수 매핑을 학습하도록 설계되었으며, 개선된 특징 표현을 위해 잔차 학습 블록을 포함한다.
• 다른 물리 기반 정규화는 가역적인 전방 모델을 통해 구현되며, 입력 홀로그램과 출력 재구성 이미지 간의 일관성을 강제함으로써 물리적 타당성을 확보한다.
• 훈련 과정은 픽셀 단위 재구성 손실과 홀로그램 전파 모델에서 유도된 물리 일관성 손실을 조합한 손실 함수를 사용한다.
• 이 방법은 보편적이라서, 재훈련 없이도 다양한 샘플 유형, 조명 조건, 시스템 파rameter에 대해 일반화된다.
• 모델는 오픈소스 코드로 배포되어 추가 데이터 수집 없이 다양한 DIHM 시스템에 즉각 통합할 수 있다.

실험 결과

연구 질문

• RQ1 합성 홀로그램으로만 훈련된 딥러닝 모델이 실제 데이터 보정 없이 다양한 DIHM 환경에서 보편적인 이중영상 억제를 달성할 수 있는가?
• RQ2 물리 기반 정규화는 기존의 표준 데이터 기반 방법에 비해 딥러닝 기반 홀로그램 재구성의 신뢰성과 물리적 일관성에 어떻게 기여하는가?
• RQ3 UTIRnet은 살아있는 세포 운동, 예를 들어 신경질 세포 이동과 같은 동적 세포 행동 분석에서 재구성 품질을 어떻게 향상시키고 정량적 위상 영상의 정확성을 높이는가?
• RQ4 재훈련 없이도 다양한 샘플 형태, 크기, 광경로 차이에 대해 네트워크가 일반화될 수 있는가?

주요 결과

• UTIRnet는 이중영상 억제에서 최신 기술 수준의 성능를 달성하여 노이즈를 크게 감소시키면서도 재구성 위상 이미지의 미세한 구조적 세부 정보를 잘 유지한다.
• 물리 기반 손실 함수는 홀로그램 전파 모델에 따라 입력 홀로그램과 출력 재구성 이미지 간의 일관성을 보장하여 물리적 타당성을 향상시킨다.
• 다양한 샘플 유형과 시스템 파rameter에 대해 효과적으로 일반화되어 재훈련 없이도 보편적인 적용 가능성을 입증하였다.
• 실제 신경질 세포 이동 실험에서 UTIRnet는 향상된 시간적·공간적 해상도를 확보한 고정밀 정량적 위상 영상 분석을 가능하게 하였다.
• UTIRnet의 오픈소스 배포로 기존 DIHM 플랫폼에 빠른 통합이 가능해져 생물의학 연구 분야에서의 도입을 가속화하고 있다.