[논문 리뷰] Multiple Scattering Media Imaging via End-to-End Neural Network

Ziyang Yuan, Hongxia Wang|arXiv (Cornell University)|2018. 06. 20.

Random lasers and scattering media참고 문헌 14인용 수 3

한 줄 요약

이 논문은 전이 행렬 추정이 필요 없이 다중 산산화 매질에서 위상 없는 스페클 패턴으로부터 직접 영상을 복원하는 엔드 투 엔드 딥 네트워크인 TCNN을 제안한다. 도메인을 연결하는 변환 레이어를 통합하고 엔드 투 엔드로 역함수 매핑을 학습함으로써, 기존 위상 복원 방법보다 100배 이상 빠른 추론 속도를 달성하여 64×64 영상의 경우 이미지 복원 시간을 0.12초 이내로 단축시켰다.

ABSTRACT

Recovering the image of an object from its phaseless speckle pattern is difficult. Let alone the transmission matrix is unknown in multiple scattering media imaging. Double phase retrieval is a recently proposed efficient method which recovers the unknown object from its phaseless measurements by two steps with phase retrieval. In this paper, we combine the two steps in double phase retrieval and construct an end-to-end neural network called TCNN(Transforming Convolutional Neural Network) which directly learns the relationship between the phaseless measurements and the object. TCNN contains a special layer called transform layer which aims to be a bridge between different transform domains. Tested by the empirical data provided in\cite{Metzler2017Coherent}, images can be recovered by TCNN with comparable quality compared with state-of-the-art methods. Not only the transmission matrix needn't to be calculated but also the time to recover the object can be hugely reduced once the parameters of TCNN are stable.

연구 동기 및 목표

• 기존 방법이 비용이 많이 드는 전이 행렬 추정을 필요로 하는 다중 산산화 매질에서 위상 없는 스페클 패턴으로부터 영상 복원 문제를 해결하기 위해.
• 알 수 없는 웨이브프론트 왜곡이 존재하는 복잡한 산산화 환경에서 위상 복원의 불안정한 성질을 극복하기 위해.
• 중간 단계 없이 강도 측정값에서 물체 영상으로 직접 매핑하는 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 기존 위상 복원 알고리즘에 비해 영상 복원 시간을 크게 단축시키면서도 경쟁 가능한 복원 품질을 유지하기 위해.
• 복원 이미지의 품질 향상을 위해 복소수 변환 영역 간의 도메인 전환을 가능하게 하는 새로운 변환 레이어의 효과를 검증하기 위해.

제안 방법

• TCNN는 위상 없는 스페클 강도 패턴에서 물체 영상으로의 역함수 매핑을 단일 엔드 투 엔드 훈련 과정에서 학습하는 딥 네트워크이다.
• 네트워크 아키텍처는 비선형 인코딩-디코딩 블록과 선형 변환 레이어로 구성되며, 특수하게 설계된 '변환 레이어'가 서로 다른 변환 도메인 간의 표현 학습을 촉진한다.
• 변환 레이어는 예를 들어 푸리에 도메인과 공간 도메인 간의 유연한 특징 변환을 가능하게 하여 역영상 문제 해결에 핵심적인 기여를 한다.
• 훈련은 원본 물체와 그에 대응하는 측정된 스페클 강도의 쌍으로 이루어지며, 재구성 오차를 평균 제곱오차(MSE) 기준으로 최소화한다.
• 대규모 데이터를 사용하여 한 번의 오프라인 훈련을 수행한 후, 추론 과정은 매우 효율적이며 실시간 응용에 적합하다.
• 과적합을 방지하기 위해 조기 정지 및 검증 기반 모니터링과 같은 정규화 기법을 사용하였으며, 훈련 수렴이 20 에포크 내에서 관찰되었다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 네트워크가 전이 행렬 추정 없이 다중 산산화 매질에서 위상 없는 스페클 패턴으로부터 영상을 효과적으로 복원할 수 있는가?
• RQ2 제안된 TCNN의 성능은 최신 위상 복원 방법에 비해 영상 품질과 추론 속도 측면에서 어떻게 비교되는가?
• RQ3 새로운 변환 레이어가 네트워크 내에서 도메인 전환을 가능하게 하여 영상 복원 품질 향상에 어떤 영향을 미치는가?
• RQ4 Wirtinger Flow나 Fienup의 방법과 같은 반복적 위상 복원 알고리즘에 비해 TCNN은 복원 시간을 얼마나 줄일 수 있는가?
• RQ5 TCNN은 다양한 이미지 크기와 산산화 조건에서도 높은 복원 정밀도를 유지하며 일반화 성능을 발휘할 수 있는가?

주요 결과

• TCNN는 PRVAMP, GS, WF, PhaseLift와 같은 최신 기술과 비교해 유사한 영상 복원 품질을 달성하였으며, 미세한 디테일 손실에도 불구하고 물체 윤곽을 잘 유지한다.
• 64×64 영상의 경우 TCNN는 이미지 복원 시간을 0.121초로 단축시켜 가장 느린 기준(PhaseLift, 239.5초) 대비 100배 빠른 속도를 확보했다.
• 훈련 오차와 검증 오차가 20 에포크 이내에 급격히 수렴하며, 과적합이 효과적으로 제어됨을 보였다.
• 작은 검증 세트에서도 낮은 오차를 유지함으로써, 다양한 이미지 크기에서의 강건성과 일반화 능력이 입증되었다.
• 모든 테스트 크기에서 TCNN의 시간 비용은 이미지당 항상 0.12초 이하로 유지되었으며, 10~100회 반복이 필요한 반복적 방법에 비해 뚜렷한 성능 우위를 보였다.
• 엔드 투 엔드 설계로 전이 행렬 추정 단계가 제거되어 영상 촬영 파이프라인의 단순화가 이루어졌고, 실시간 구동이 가능해졌다.