[논문 리뷰] Imaging through glass diffusers using densely connected convolutional networks

Shuai Li, Mo Deng외 3명|ArXiv.org|2017. 11. 18.

Random lasers and scattering media참고 문헌 31인용 수 23

한 줄 요약

이 논문은 전방 연산자나 사전 모델링 없이 유리 확산판을 통한 엔드 투 엔드 영상 촬영을 가능하게 하는 밀집 연결 컨볼루션 신경망인 IDiffNet을 제안한다. 데이터로부터 산산이 튀는 매질의 반응과 물체의 사전 지식을 학습함으로써, IDiffNet은 다양한 물체 유형에 걸쳐 뛰어난 재구성 품질과 일반화 성능을 달성하며, 특히 강한 산산이 튀는 조건과 희소 물체 조건에서 전통적인 역변환 및 노이즈 제거 네트워크를 능가한다. 이는 음의 피어슨 상관계수 계수 손실 함수를 사용함으로써 달성된다.

ABSTRACT

Computational imaging through scatter generally is accomplished by first characterizing the scattering medium so that its forward operator is obtained; and then imposing additional priors in the form of regularizers on the reconstruction functional so as to improve the condition of the originally ill-posed inverse problem. In the functional, the forward operator and regularizer must be entered explicitly or parametrically (e.g. scattering matrices and dictionaries, respectively.) However, the process of determining these representations is often incomplete, prone to errors, or infeasible. Recently, deep learning architectures have been proposed to instead learn both the forward operator and regularizer through examples. Here, we propose for the first time, to our knowledge, a convolutional neural network architecture called "IDiffNet" for the problem of imaging through diffuse media and demonstrate that IDiffNet has superior generalization capability through extensive tests with well-calibrated diffusers. We found that the Negative Pearson Correlation Coefficient loss function for training is more appropriate for spatially sparse objects and strong scattering conditions. Our results show that the convolutional architecture is robust to the choice of prior, as demonstrated by the use of multiple training and testing object databases, and capable of achieving higher space-bandwidth product reconstructions than previously reported.

연구 동기 및 목표

• 산산이 튀는 매질(예: 유리 확산판)을 통한 영상 촬영 문제를 다루며, 산산이 튀는 매질의 특성에 대한 지식이 불완전하여 기존의 역문제 해결이 잘 정의되지 않는 상황을 해결한다.
• 역영상에서 전방 연산자 및 정규화 사전 지식 모델링의 한계를 극복하며, 이는 종종 오류가 발생하거나 특성화하기 어려운 경우가 있다.
• 학습 데이터로부터 산산이 튀는 매질의 반응과 물체의 사전 지식을 동시에 학습하는 딥 러닝 기반 엔드 투 엔드 프레임워크를 개발한다.
• 강한 산산이 튀는 조건에서도 다양한 물체 유형(희소 및 복잡한 시나리오 포함)에 대해 재구성 품질과 일반화 성능을 향상시킨다.

제안 방법

• 산산이 튀는 패턴에서 원본 이미지로의 역함수 매핑을 엔드 투 엔드 학습을 통해 학습할 수 있도록 설계된 밀집 연결 컨볼루션 신경망 아키텍처인 IDiffNet을 제안한다.
• 공간적으로 희소한 물체와 강한 산산이 튀는 조건에서 더 효과적인 것으로 나타난 음의 피어슨 상관계수 계수(NPCC)를 손실 함수로 사용한다.
• 다양한 물체 데이터베이스(예: 문자, CIFAR-10, LFW 얼굴)를 사용하여 校정된 확산판 데이터로 네트워크를 훈련시켜 다양한 물체 유형 간 일반화 능력을 향상시킨다.
• 해당 방법은 전방 산산이 튀는 연산자와 물체의 사전 지식을 명시적인 매개변수 모델링 없이 데이터 기반으로 암묵적으로 학습한다.
• 검증을 위해 훈련 중에 볼 수 없었던 물체 데이터베이스로 테스트를 수행하고, 포isson 노이즈로 훈련된 노이즈 제거 신경망과 비교함으로써 강인성을 입증한다.
• 최대 활성 패턴(MAP) 분석을 수행하여 IDiffNet이 단순히 노이즈 감소를 넘어서 이미징 시스템 고유의 공간적 상관관계를 학습하고 있음을 확인한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 명시적인 모델링 없이도 학습 데이터로부터 산산이 튀는 매질의 전방 반응과 물체의 사전 지식을 암묵적으로 학습할 수 있는가?
• RQ2 강한 산산이 튀는 조건과 희소 물체 조건에서 손실 함수의 선택(예: NPCC 대비 MAE/MSE)이 재구성 품질에 어떤 영향을 미치는가?
• RQ3 IDiffNet은 훈련 중에 볼 수 없었던 다양한 물체 데이터베이스에 대해 일반화되는가?
• RQ4 IDiffNet은 산산이 튀는 효과로 인한 스펙클 패턴을 학습하는 데서 표준 노이즈 제거 네트워크와 어떻게 다를까?
• RQ5 밀집 연결 아키텍처가 확산판을 통한 영상 촬영에서 특징 학습 및 재구성 정밀도 향상에 기여하는 역할은 무엇인가?

주요 결과

• IDiffNet은 이전에 보고된 방법보다 더 높은 스페이스-밴드폭 제품 재구성 성능를 달성하며, 더 나은 해상도 및 세부 정보 복원 능력을 보여준다.
• 음의 피어슨 상관계수 계수(NPCC) 손실 함수는 희소 물체와 강한 산산이 튀는 조건에서 재구성 품질을 크게 향상시키며, MAE 및 MSE를 능가한다.
• IDiffNet은 문자, CIFAR-10, LFW 얼굴 등 여러 물체 데이터베이스에 대해 효과적으로 일반화되며, 산산이 튀는 매질과 물체의 사전 지식을 잘 학습하고 있음을 시사한다.
• IDiffNet은 단순한 노이즈 제거를 수행하지 않으며, MAP 분석 및 노이즈 제거 네트워크와의 비교를 통해 이미징 시스템 고유의 공간적 상관관계를 학습하고 있음을 확인한다.
• 600-grit 확산판의 경우 MAP에서 더 세밀한 질감 세부 정보를 보이며, 이는 IDiffNet이 더 강한 산산이 튀는 반응을 더 복잡하게 학습하고 있음을 나타낸다.
• 노이즈 제거 네트워크는 스펙클 이미지에서 실패하여 단지 흐릿한 출력만 생성하지만, IDiffNet은 선명하고 정확한 이미지를 재구성함으로써, 단순한 노이즈 감소를 넘어서 시스템 고유의 매핑을 학습하고 있음을 입증한다.