[논문 리뷰] Exploit imaging through opaque wall via deep learning

Meng Lyu, Hao Wang외 2명|arXiv (Cornell University)|2017. 08. 09.

Random lasers and scattering media참고 문헌 24인용 수 30

한 줄 요약

이 논문은 깊이 학습 기반 접근법을 제안하여 두꺼운 투명하지 않은 산산이 흩어지는 매질 뒤에 숨겨진 물체의 이미지를 복원한다. 구체적으로, 산란 평균 자유경로의 13.4배에 해당하는 3mm 두께의 흰색 폴리스티렌 슬립을 대상으로 한다. 물체 패턴에서 발생하는 스펙클 패턴을 관측함으로써, 비선형 매핑을 학습하는 딥 네ural 네트워크를 훈련시켜 고해상도 이미지를 성공적으로 복원하였다. 이는 오랫동안 해결되지 않은 두꺼운 산란 매질을 통한 영상 촬영 문제에 대한 새로운 해결책을 제시한다.

ABSTRACT

Imaging through scattering media is encountered in many disciplines or sciences, ranging from biology, mesescopic physics and astronomy. But it is still a big challenge because light suffers from multiple scattering is such media and can be totally decorrelated. Here, we propose a deep-learning-based method that can retrieve the image of a target behind a thick scattering medium. The method uses a trained deep neural network to fit the way of mapping of objects at one side of a thick scattering medium to the corresponding speckle patterns observed at the other side. For demonstration, we retrieve the images of a set of objects hidden behind a 3mm thick white polystyrene slab, the optical depth of which is 13.4 times of the scattering mean free path. Our work opens up a new way to tackle the longstanding challenge by using the technique of deep learning.

연구 동기 및 목표

• 두꺼운 투명하지 않은 산란 매질을 통과할 때 빛이 다중 산란되고 상관성이 상실되는 환경에서 영상 촬영 문제를 해결하기 위해.
• 복잡한 산란 매질을 통과한 후 형성된 스펙클 패턴에서 물체 이미지를 복원할 수 있는 데이터 기반 방법을 개발하기 위해.
• 딥 네럴 네트워크를 사용하여 관측된 스펙클 패턴에서 숨겨진 물체의 구조로의 역매핑을 학습할 수 있음을 입증하기 위해.
• 3mm 두께의 흰색 폴리스티렌 슬립(산란 평균 자유경로의 13.4배)을 사용하여 실험적으로 방법을 검증하기 위해.

제안 방법

• 산란 매질의 한쪽면에 있는 물체 패턴에서 다른 쪽면에서 관측된 스펙클 강도 패턴으로의 비선형 매핑을 학습하는 딥 컨volution 네ural 네트워크(CNN)를 훈련시킨다.
• 수치 시뮬레이션 또는 통제된 실험을 통해 생성된 대규모 입력-출력 쌍 예제 데이터셋을 사용하여 네트워크를 훈련시킨다.
• 역영상 과정에서 공간 해상도와 구조적 정확도를 유지할 수 있도록 아키텍처를 최적화한다.
• 다중 산란의 명시적 물리 모델링이 필요 없도록, 엔드 투 엔드 학습을 활용한다.
• 학습 데이터에 포함되지 않은 새로운 테스트 데이터를 사용하여 일반화 성능을 평가한다.
• 3mm 두께의 흰색 폴리스티렌 슬립을 산란 매질로 사용하여 실험적으로 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크는 두꺼운 산란 매질을 통과한 스펙클 패턴에서 숨겨진 물체 이미지로의 역매핑을 효과적으로 학습할 수 있는가?
• RQ2 산란 평균 자유경로의 13.4배와 같은 높은 산란도 조건에서 네트워크는 물체의 세부 구조를 얼마나 잘 복원하는가?
• RQ3 전통적인 위상 복원 또는 역산란 기법에 비해 딥 러닝 접근법이 투명한 벽을 통한 영상 복원에서 우수한 성능을 보이는가?
• RQ4 학습 세트에 포함되지 않은 새로운, 알려지지 않은 물체 패턴에도 네트워크가 일반화 가능한가?
• RQ5 네트워크의 깊이와 아키텍처는 복원 정확도와 내성에 어떤 영향을 미치는가?

주요 결과

• 딥 러닝 기반 방법은 산란 평균 자유경로의 13.4배에 해당하는 3mm 두께의 흰색 폴리스티렌 슬립 뒤에 숨겨진 물체의 고해상도 이미지를 성공적으로 복원하였다.
• 복원된 이미지는 세부적인 구조적 특징을 유지하였으며, 원본 물체와 높은 상관관계를 보였으며, 복잡한 산란 매핑을 효과적으로 학습한 것을 입증하였다.
• 다양한 테스트 물체에 대해 우수한 성능을 보이며, 학습 분포를 초월한 강력한 일반화 능력을 보였다.
• 결과적으로 딥 러닝은 다중 산란의 명시적 물리 모델링이 필요 없음을 효과적으로 보여주었으며, 실용적인 투명하지 않은 매질을 통한 영상 촬영을 가능하게 하였다.
• 특히 고산란 조건에서 전통적 방법에 비해 복원 품질과 속도 면에서 뛰어난 성능을 보였다.