[논문 리뷰] Roles of scattered and ballistic photons in imaging through scattering media: a deep learning-based study

Xuyu Zhan, Jingjing Gao외 7명|arXiv (Cornell University)|2022. 07. 21.

Random lasers and scattering media인용 수 5

한 줄 요약

이 연구는 두꺼운 산산이 흩어지는 매체를 통한 딥러닝 기반 영상에서 궤도광자와 산산이 흩어진 광자의 상이한 역할을 조사한다. 무작위 위상 마스크를 통해 광자의 가중치를 조작함으로써, 저자들은 궤도광자와 산산이 흩어진 광자가 모두 영상 복원을 가능하게 하지만, 산산이 흩어진 광자는 핵심 민감도를 가진 암호화 메커니즘으로 작용하는 반면, 궤도광자는 안정적이고 일반화 가능한 추론을 가능하게 한다는 점을 밝혀내었으며, 이는 궤도광자가 검출 비중이 낮음에도 불구하고 다양한 산산이 흩어지는 매질을 통해 신경망의 일반화에 기초적인 역할을 한다는 것을 시사한다.

ABSTRACT

Scattering of light in complex media scrambles optical wavefronts and breaks the principles of conventional imaging methods. For decades, researchers have endeavored to conquer the problem by inventing approaches such as adaptive optics, iterative wavefront shaping, and transmission matrix measurement. That said, imaging through/into thick scattering media remains challenging to date. With the rapid development of computing power, deep learning has been introduced and shown potentials to reconstruct target information through complex media or from rough surfaces. But it also fails once coming to optically thick media where ballistic photons become negligible. Here, instead of treating deep learning only as an image extraction method, whose best-selling advantage is to avoid complicate physical models, we exploit it as a tool to explore the underlying physical principles. By adjusting the weights of ballistic and scattered photons through a random phasemask, it is found that although deep learning can extract images from both scattered and ballistic light, the mechanisms are different: scattering may function as an encryption key and decryption from scattered light is key sensitive, while extraction from ballistic light is stable. Based on this finding, it is hypothesized and experimentally confirmed that the foundation of the generalization capability of trained neural networks for different diffusers can trace back to the contribution of ballistic photons, even though their weights of photon counting in detection are not that significant. Moreover, the study may pave an avenue for using deep learning as a probe in exploring the unknown physical principles in various fields.

연구 동기 및 목표

• 산산이 흩어지는 매체를 통한 딥러닝 기반 영상에서 궤도광자와 산산이 흩어진 광자의 상이한 물리적 역할을 이해하는 것.
• 딥러닝 모델이 서로 다른 산산이 흩어지는 매질 간에 일반화되는지, 그리고 이러한 일반화의 물리적 메커니즘이 무엇인지 조사하는 것.
• 학습된 신경망의 일반화 능력이 궤도광자에서 비롯되는지, 심지어 그들의 검출 가중치가 최소일지라도 확인하는 것.
• 딥러닝을 단순한 영상 복원 도구가 아니라, 복잡한 광학 시스템 내의 숨겨진 물리 원리를 드러내는 수단으로 탐색하는 것.

제안 방법

• 산산이 흩어지는 매질을 통과한 빛으로부터 영상을 복원하기 위해 딥러닝 프레임워크를 학습시키며, 산산이 흩어진 광자와 궤도광자를 모두 사용한다.
• 무작위 위상 마스크를 도입하여 검출 과정에서 궤도광자와 산산이 흩어진 광자의 상대적 가중치를 동적으로 제어한다.
• 궤도광자 대 산산이 흩어진 광자의 비율을 다양하게 조절하여 모델의 성능을 평가함으로써 안정성과 일반화 능력을 평가한다.
• 다양한 산산이 흩어지는 매질을 대상으로 실험을 수행하여 모델의 일반화 능력을 테스트하고, 궤도광자의 기여도를 분리하여 분석한다.
• 산산이 흩어진 광자와 궤도광자를 각각 기반으로 한 영상 복원의 정밀도와 위상 마스크 변화에 대한 민감도를 비교한다.
• 궤도광자가 산산이 흩어지는 매질에서 딥러닝 모델의 일반화 능력의 기초가 된다는 가설을 수립하고 실험적으로 검증한다.

실험 결과

연구 질문

• RQ1 궤도광자와 산산이 흩어진 광자는 산산이 흩어지는 매질에서 딥러닝 모델의 영상 복원에 어떻게 다르게 기여하는가?
• RQ2 서로 다른 산산이 흩어지는 성질을 가진 매질에서 학습된 딥러닝 모델이 왜 다른 매질로도 일반화되는가?
• RQ3 왜 궤도광자에서의 영상 복원은 안정적이고, 산산이 흩어진 광자에서의 복원은 핵심 민감도를 가지는가?
• RQ4 딥러닝은 복잡한 광학 시스템 내의 숨겨진 물리 원리를 드러내는 데 사용될 수 있는가?
• RQ5 궤도광자는 산산이 흩어지는 매질을 통한 딥신경망의 일반화에 어느 정도의 기여를 하는가?

주요 결과

• 딥러닝은 산산이 흩어진 광자와 궤도광자를 모두 사용해 영상을 복원할 수 있지만, 그 기반 메커니즘은 상이하게 다르다: 산산이 흩어진 광자 기반 복원은 위상 마스크에 매우 민감하며, 암호화와 유사한 행동을 나타낸다.
• 궤도광자를 기반으로 한 영상 복원은 다양한 실험 조건에서 안정적이고 견고하여 더 신뢰할 수 있는 물리적 경로로 보인다.
• 검출 가중치가 낮음에도 불구하고 궤도광자는 다양한 산산이 흩어지는 매질 간에 신경망의 일반화에 필수적이다.
• 다양한 산산이 흩어지는 매질 간에 학습된 모델의 일반화 능력은 궤도광자의 일관된 기여 덕분에 주로 발생하며, 이는 그들이 신호에서 지배적이지 않더라도 그렇다.
• 이 연구는 궤도광자의 물리적 안정성이 모델 일반화의 기초임을 실험적으로 확인하였으며, 산산이 흩어진 광자의 통계적 패턴이 아니라 궤도광자가 일반화의 기초임을 입증하였다.
• 이 작업은 딥러닝이 단순한 영상 복원을 넘어서 산산이 흩어지는 매체 내의 알려지지 않은 물리 원리를 탐색하는 데 유용한 도구로 자리매김함을 확립하였다.