[논문 리뷰] Image reconstruction through a multimode fiber with a simple neural network architecture

Changyan Zhu, Eng Aik Chan외 6명|arXiv (Cornell University)|2020. 06. 10.

Random lasers and scattering media참고 문헌 41인용 수 12

한 줄 요약

이 논문은 단일 은닉층 밀집 신경망(SHL-DNN)이 복잡한 다중모드 섬유에서의 스펙클 패턴을 복원할 때, 최신 기술 수준의 U-Net 컨볼루션 신경망(CNN)과 유사한 이미지 복원 정밀도를 달성함을 보여주며, 훈련 시간과 계산 자원을 훨씬 적게 소비한다. SHL-DNN은 동일한 하드웨어에서 16분 만에 SSIM 0.775에 도달하여, U-Net이 3.5시간 훈련 후에 달성한 0.767의 SSIM를 능가한다. 또한 두 모델 모두 훈련 종료 후 1주일이 지난 이후에도 성능을 유지한다.

ABSTRACT

Multimode fibers (MMFs) have the potential to carry complex images for endoscopy and related applications, but decoding the complex speckle patterns produced by mode-mixing and modal dispersion in MMFs is a serious challenge. Several groups have recently shown that convolutional neural networks (CNNs) can be trained to perform high-fidelity MMF image reconstruction. We find that a considerably simpler neural network architecture, the single hidden layer dense neural network, performs at least as well as previously-used CNNs in terms of image reconstruction fidelity, and is superior in terms of training time and computing resources required. The trained networks can accurately reconstruct MMF images collected over a week after the cessation of the training set, with the dense network performing as well as the CNN over the entire period.

연구 동기 및 목표

• 다중모드 섬유(MMF) 스펙클 패턴에서 이미지를 복원하는 데 있어 단순 밀집 신경망(DNN)과 컨볼루션 신경망(CNN)의 성능을 비교한다.
• 스펙클 패턴의 전역적 공간 구조를 감안할 때, CNN의 국소적 특징 추출 능력이 MMF 이미지 복원에 필수적인가를 규명한다.
• 훈련 종료 후 장기간에 걸쳐 훈련된 네트워크의 강건성과 일반화 능력을 평가한다.
• 이 경우에서 깊이 있는 또는 하이브리드 아키텍처(예: VGG 유형)가 최소한의 DNN보다 성능상 이점이 있는가를 평가한다.

제안 방법

• 사전에 알려진 훈련 데이터를 사용하여 단일 은닉층 밀집 신경망(SHL-DNN)을 훈련시어 다중모드 섬유 출력 스펙클 패턴에서 입력 이미지로 매핑한다.
• 기준으로 사용하기 위해 U-Net CNN 아키텍처를 사용하며, 4배 필터 수와 64×64 입력 해상도로 최적화한다.
• SHL-DNN는 구조적 유사도 지수 측정(SIM)을 목적 함수로 사용하며, 최적 성능을 위해 초모수를 조정한다.
• 훈련은 알려진 입력 이미지와 해당하는 다중모드 섬유 출력 스펙클 패턴의 데이터셋을 사용하여 수행되며, 훈련 종료 후 최대 235시간 경과한 후의 데이터를 검증에 사용한다.
• SSIM, MSE, 시각적 정밀도를 바탕으로 여러 데이터셋(MNIST 및 Fashion-MNIST 포함)에서 성능을 평가한다.
• 활성화 함수, 손실 함수, 네트워크 깊이에 대한 분석 실험을 수행하여 핵심 성능 요인을 규명한다.

실험 결과

연구 질문

• RQ1 단순한 단일 은닉층 밀집 신경망(SHL-DNN)이 다중모드 섬유 영상에서 U-Net CNN과 유사한 이미지 복원 정밀도를 달성하는가?
• RQ2 DNN가 CNN을 능가할 수 있는가? 즉, 훈련 효율성과 자원 사용량 측면에서 더 우수하면서도 MMF 이미지 복원에서 높은 정밀도를 유지할 수 있는가?
• RQ3 훈련 데이터가 더 이상 이용 불가능한 후, 훈련된 네트워크의 성능은 어떻게 떨어지거나 유지되는가?
• RQ4 MMF 스펙클 패턴의 전역적 공간 구조는 완전히 연결된 층이 컨볼루션 층의 국소적 수신장과 비교해 더 잘 포착되는가?
• RQ5 컨볼루션 층과 밀집 층을 조합한 하이브리드 아키텍처(예: VGG 유형)가 이 작업에서 최소한의 DNN보다 성능상 이점이 있는가?

주요 결과

• SHL-DNN는 동일한 하드웨어에서 16분 만에 SSIM 0.775에 도달하여, U-Net이 3.5시간 훈련 후에 달성한 0.767의 SSIM를 능가한다.
• SHL-DNN는 2000만 개의 훈련 가능한 파rameter만을 필요로 하며, U-Net의 3100만 개보다 훨씬 낮은 모델 복잡도를 보인다.
• SHL-DNN와 U-Net 모두 훈련 데이터셋 생성 후 최대 235시간 경과한 이미지까지도 높은 복원 정밀도를 유지하여 강력한 일반화 능력과 안정성을 보였다.
• 컨볼루션 층과 밀집 층을 조합한 VGG 유형 네트워크는 SHL-DNN를 능가하지 못했으며, 이는 이 맥락에서 컨볼루션 연산을 추가해도 유의미한 이점이 없다는 것을 시사한다.
• SHL-DNN의 활성화 함수 선택이 성능에 큰 영향을 미치며, 은닉층과 출력층 모두에서 시그모이드 활성화 함수를 사용할 경우 가장 우수한 성능을 기록했다.
• MSE나 교차 엔트로피와 같은 대체 손실 함수는 이 작업에서 SSIM 기반 목적 함수에 비해 성능 향상을 이끌지 못했다.