[논문 리뷰] Convolutional neural network-based regression for depth prediction in digital holography

Tomoyoshi Shimobaba, Takashi Kakue외 1명|arXiv (Cornell University)|2018. 02. 02.

Digital Holography and Microscopy참고 문헌 14인용 수 9

한 줄 요약

이 논문은 반복적인 깊이 탐색이 필요한 시간 소모적인 과정을 회피하고 디지털 허모그래피에서 직접 고정밀도 깊이 예측을 위한 컨볼루션 신경망(CNN) 기반의 회귀 모델을 제안한다. 허모그램의 파wer 스펙트럼을 입력으로 사용함으로써 밀리미터 수준의 정확도(평균 오차 7.2 mm)를 달성하고, 한 허모그램당 예측 시간을 2.9초에서 3.5 ms로 단축시켜 재구성 워크플로우를 크게 가속화한다.

ABSTRACT

Digital holography enables us to reconstruct objects in three-dimensional space from holograms captured by an imaging device. For the reconstruction, we need to know the depth position of the recoded object in advance. In this study, we propose depth prediction using convolutional neural network (CNN)-based regression. In the previous researches, the depth of an object was estimated through reconstructed images at different depth positions from a hologram using a certain metric that indicates the most focused depth position; however, such a depth search is time-consuming. The CNN of the proposed method can directly predict the depth position with millimeter precision from holograms.

연구 동기 및 목표

• 디지털 허모그래피에서 반복적인 깊이 탐색이 필요한 계산 비용이 많이 들고 시간이 오래 걸리는 과정을 제거하기 위해.
• 딥 러닝을 활용해 허모그램에서 직접 실시간 깊이 예측을 가능하게 하기 위해.
• 이산 분류가 아닌 연속적인 회귀 문제로 깊이를 모델링하여 깊이 추정 정확도를 향상시키기 위해.
• 원시 허모그램과 그들의 파워 스펙트럼을 입력 특징으로 사용하여 CNN 회귀의 성능을 평가하기 위해.
• 파워 스펙트럼을 사용하여 네트워크 아키텍처를 단순화하면서도 높은 예측 정확도를 유지할 수 있음을 입증하기 위해.

제안 방법

• 네 개의 컨볼루션 레이어, ReLU 활성화 함수, 맥스 풀링, 그리고 두 개의 완전 연결 레이어를 갖춘 딥 CNN이 연속적인 깊이 값을 예측하도록 훈련된다.
• 훈련 중에 예측된 깊이 값과 진짜 깊이 값 간의 차이를 최소화하기 위해 평균 제곱 오차(MSE) 손실을 사용한다.
• 입력 데이터로 원시 허모그램과 그들의 파워 스펙트럼을 사용하며, 계산 효율성을 위해 해상도를 1024×1024 픽셀에서 128×128 픽셀으로 감소시킨다.
• 출력 레이어는 연속적인 깊이 예측을 생성하기 위해 선형(항등) 활성화 함수를 사용한다.
• 학습은 초기 학습률 0.0005로 설정된 Adam 옵timizer를 사용하며, 손실이 정체될 경우 학습률를 조정한다.
• 기준 깊이 탐색 비교에서 회절 계산을 위해 각도 스펙트럼 방법을 활용한다.

실험 결과

연구 질문

• RQ1 CNN 기반의 회귀 모델은 반복적인 깊이 탐색 없이 디지털 허모그래피에서 밀리미터 수준의 정밀도로 깊이를 예측할 수 있는가?
• RQ2 원시 허모그램을 사용하는 것과 비교해 허모그램의 파워 스펙트럼을 사용할 경우 예측 정확도와 모델 복잡도는 어떻게 다른가?
• RQ3 제안된 CNN의 추론 속도는 초점 지표를 사용한 전통적인 깊이 탐색과 비교해 어떻게 되는가?
• RQ4 CNN은 다양한 물체 깊이와 허모그램 구성 조건에서도 높은 정확도로 일반화 가능한가?
• RQ5 허모그램 크기를 128×128 픽셀으로 줄였을 때 파워 스펙트럼을 사용하면 깊이 예측 성능이 손상되는가?

주요 결과

• 파워 스펙트럼을 입력으로 사용한 CNN 모델은 평균 깊이 오차 7.2 mm를 기록했으며, 이는 검증 손실 5.245×10⁻⁵에 해당한다.
• 원시 허모그램만을 사용한 모델은 평균 오차가 50 mm로 훨씬 높았고, 검증 손실은 0.00249였다.
• 제안된 CNN은 GPU에서 허모그램당 깊이 예측 시간을 2,892 ms(깊이 탐색)에서 단 3.5 ms로 단축시켰다.
• 타무라 계수 기반의 깊이 탐색은 초점 평면으로 0.147 m를 식별했지만, CNN은 0.138 m를 예측하여 5 mm의 오차를 보였다.
• 파워 스펙트럼 입력은 더 단순한 네트워크 아키텍처를 가능하게 하였고, 원시 허모그램 입력보다 훨씬 뛰어난 성능을 달성하였다.
• 이 방법은 특히 크기가 줄어든 파워 스펙트럼을 사용할 경우 실시간 깊이 예측에 실현 가능함을 입증하였다.