[논문 리뷰] Deep-learned speckle pattern and its application to ghost imaging

Xiaoyu Nie, Haotian Song외 5명|arXiv (Cornell University)|2021. 12. 25.

Random lasers and scattering media인용 수 5

한 줄 요약

이 논문은 두 번째 순서 상관관계를 조절하기 위해 합성곱 신경망을 훈련시켜 계산적 그로스 이미징을 위한 최적화된 스펙클 패턴을 생성하는 딥러닝 프레임워크인 Speckle-Net을 제안한다. 이 방법은 매우 낮은 샘플링 비율(최저 0.5%)에서도 고품질의 이미지 복원을 달성하며, 잡음에 대한 강건성을 보이며, 전통적 및 딥러닝 기반 그로스 이미징 기법들을 능가한다. 이는 직접적으로 조명 패턴을 최적화하여 달성된다.

ABSTRACT

In this paper, we present a method for speckle pattern design using deep learning. The speckle patterns possess unique features after experiencing convolutions in Speckle-Net, our well-designed framework for speckle pattern generation. We then apply our method to the computational ghost imaging system. The standard deep learning-assisted ghost imaging methods use the network to recognize the reconstructed objects or imaging algorithms. In contrast, this innovative application optimizes the illuminating speckle patterns via Speckle-Net with specific sampling ratios. Our method, therefore, outperforms the other techniques for ghost imaging, particularly its ability to retrieve high-quality images with extremely low sampling ratios. It opens a new route towards nontrivial speckle generation by referring to a standard loss function on specified objectives with the modified deep neural network. It also has great potential for applications in the fields of dynamic speckle illumination microscopy, structured illumination microscopy, x-ray imaging, photo-acoustic imaging, and optical lattices.

연구 동기 및 목표

• 특정 통계적 특성을 지닌 스펙클 패턴을 생성하기 위한 데이터 기반 방법을 개발하여 그로스 이미징 성능을 향상시키는 것.
• 기존의 수동적 파rameter 조정에 의존하고 특정 샘플링 비율에 최적화되어 있지 않은 스펙클 패턴 생성 방식의 한계를 극복하는 것.
• 이미지 복원에 대한 최적화에서 조명 스펙클 패턴의 설계로 최적화 초점을 이동시키기 위한 딥러닝 기반 접근.
• 초저비율 샘플링에서 신호 대 잡음비를 향상시키기 위해 훈련된 스펙클 패턴을 통해 소음 조건 하에서도 강건한 그로스 이미징을 가능하게 하는 것.
• 손실 함수를 재정의함으로써 그로스 이미징을 초월해 다른 스펙클 기반 광학 시스템에 적용 가능한 일반화 가능한 프레임워크를 구축하는 것.

제안 방법

• 학습 가능한 커널이 연속적인 컨볼루션을 통해 초기 스펙클 패턴의 두 번째 순서 상관관계를 조절하는 다중지점 컨volutional 신경망(CNN) 아키텍처를 사용한다.
• 표준 계산적 그로스 이미징(CGI) 알고리즘의 성능을 목표로 하는 맞춤형 손실 함수를 사용하여 훈련하며, 주어진 샘플링 비율에서 복원 오차를 최소화하는 것을 목표로 한다.
• 각 컨볼루션 레이어의 커널은 역전파를 통해 업데이트되어 교차자기상관비를 최적화함으로써 초저비율 샘플링에서 신호 대 잡음비를 향상시킨다.
• 훈련 과정은 최종 객체에 의존하지 않으며, 광학 시스템과 선택된 손실 함수에만 의존하므로 특정 목표에 대해 한 번의 훈련으로 충분하다.
• 프레임워크는 MNIST 숫자 데이터셋에서 훈련되었지만, 다양한 샘플링 비율에서 단순한 객체와 복잡한 객체(예: 그리스 문자, 중국어 문자, 잎 이미지)를 성공적으로 복원하는 데 일반화된다.
• 손실 함수를 재정의하여 비균일 분산 또는 구조화된 조명과 같은 다른 광학 시스템 요구사항을 충족시키기 위해 다른 응용 분야에 쉽게 적응할 수 있다.

실험 결과

연구 질문

• RQ1 딥러닝을 활용해 초저비율 샘플링 비율에서 그로스 이미징 성능을 크게 향상시키는 스펙클 패턴을 생성할 수 있는가?
• RQ2 학습 가능한 커널을 통해 스펙클 패턴의 두 번째 순서 상관관계를 최적화하면 이미지 복원 품질과 잡음 내성에 어떤 영향을 미치는가?
• RQ3 재훈련 없이도 다양한 객체 유형과 샘플링 비율에 일반화되는 단일 사전 훈련된 Speckle-Net 프레임워크를 구현할 수 있는가?
• RQ4 복원 정밀도와 내성 측면에서 표준 레일리 스펙클과 다른 합성 패턴에 비해 딥러닝 기반 스펙클 패턴이 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 손실 함수를 수정하여 다른 스펙클 기반 이미징 시스템에 적용 가능한지, 프레임워크를 확장할 수 있는가?

주요 결과

• 딥러닝 기반 스펙클 패턴은 샘플링 비율이 0.5%일 때에도 고정밀도 그로스 이미징 복원을 가능하게 하며, 기존 방법들을 크게 능가한다.
• 8.8 dB의 신호 대 잡음비(SNR) 조건에서, 숫자, 문자, 문자, 잎 이미지 등 모든 테스트 객체가 0.5%를 포함한 모든 샘플링 비율에서 명확하게 복원된다.
• 3.1 dB의 신호 대 잡음비 조건(매우 높은 잡음 환경)에서도 재구성된 이미지가 식별 가능하며, 초저비율 샘플링에서의 품질 저하가 최소한이다.
• 1% 및 0.5% 샘플링 비율 패턴은 뛰어난 잡음 내성 성능를 보이며, 세 가지 SNR 수준에서 거의 구분되지 않는 결과를 보여, 잡음 유도 변동을 강력하게 억제함을 시사한다.
• 저비율 샘플링에서 최적화된 교차자기상관비는 신호 대 잡음비를 향상시켜, 잡음 조건 하에서도 성능 향상과 내성 향상을 설명한다.
• 이 방법은 MNIST 훈련 데이터셋을 초월해, 단지 5%의 샘플링 비율로도 중국어 문자 'yán'과 잎 이미지와 같은 복잡한 객체를 성공적으로 복원한다.