[논문 리뷰] Is Deep Image Prior in Need of a Good Education

Riccardo Barbano, Johannes Leuschner외 5명|arXiv (Cornell University)|2021. 11. 23.

Medical Imaging Techniques and Applications참고 문헌 45인용 수 6

한 줄 요약

이 논문은 생물학적 샘플 이미징에서의 실시간 적용을 가능하게 하기 위해, 합성 데이터에서 사전 훈련한 깊은 컨volution 신경망을 기반으로 실재의 마이크로-CT 데이터에서 미세조정하는 이단계 학습 프레임워크를 제안한다. 이 방법은 재구성 품질을 유지하면서도 재구성 시간을 크게 단축시켜, 전통적 또는 학습 기반 방법에 비해 빠른 성능을 보인다.

ABSTRACT

Deep image prior was recently introduced as an effective prior for image reconstruction. It represents the image to be recovered as the output of a deep convolutional neural network, and learns the network's parameters such that the output fits the corrupted observation. Despite its impressive reconstructive properties, the approach is slow when compared to learned or traditional reconstruction techniques. Our work develops a two-stage learning paradigm to address the computational challenge: (i) we perform a supervised pretraining of the network on a synthetic dataset; (ii) we fine-tune the network's parameters to adapt to the target reconstruction. We showcase that pretraining considerably speeds up the subsequent reconstruction from real-measured micro computed tomography data of biological specimens. The code and additional experimental materials are available at this https URL

연구 동기 및 목표

• 기존의 전통적 또는 학습 기반 방법에 비해 느린 Deep Image Prior(DIP)의 계산 비효율성을 해결한다.
• 실제 마이크로-CT 데이터에서 재구성 품질을 손상시키지 않은 채 DIP의 추론 속도를 향상시킨다.
• 합성 데이터를 활용한 사전 훈련과 실제 데이터를 활용한 미세조정을 통한 이단계 학습 프레임워크를 개발한다.
• 시간이 민감한 생물의학 영상 응용 분야에서 DIP의 실용적 적용을 가능하게 한다.

제안 방법

• 다양한 구조와 무늬를 가진 대규모 합성 이미지 데이터셋에서 깊은 컨volution 신경망을 사전 훈련한다.
• 사전 훈련된 네트워크를 재구성의 사전 지식으로 활용하며, 사전 훈련된 파라미터로 네트워크 가중치를 초기화한다.
• 실제로 손상된 마이크로-CT 측정치에서 네트워크의 파라미터를 미세조정하여 목표 데이터 분포에 적응시킨다.
• 재구성을 최적화 문제로 설정: 네트워크 출력과 관측된 데이터 간의 차이를 최소화하며, 네트워크 아키텍처 자체가 사전 지식을 포함한다.
• CNN 아키텍처의 인덕티브 바이어스를 활용하여 재구성을 이끌며, 사전 훈련을 통해 최적화의 탐색 공간을 줄인다.
• 실제 생물학적 샘플의 마이크로-CT 측정치에 본 방법을 적용하여, 표준 DIP와의 재구성 속도 및 품질을 비교한다.

실험 결과

연구 질문

• RQ1 합성 데이터에서 깊은 컨볼루션 신경망을 사전 훈련하면, Deep Image Prior를 사용한 이미지 재구성에 필요한 시간을 크게 줄일 수 있는가?
• RQ2 실제 마이크로-CT 데이터에서 사전 훈련-미세조정 방법의 재구성 품질은 표준 DIP와 비교해 어떻게 되는가?
• RQ3 사전 훈련은 DIP에서 수렴하기 위해 필요한 최적화 반복 수를 어느 정도 줄이는가?
• RQ4 제안된 방법은 계산 효율성을 향상시키면서도 DIP의 높은 재구성 정밀도를 유지하는가?

주요 결과

• 제안된 이단계 방법은 실재 마이크로-CT 데이터에서 표준 Deep Image Prior에 비해 상당히 더 빠른 재구성 성능를 달성한다.
• 합성 데이터에서의 사전 훈련은 미세조정 단계에서 필요한 최적화 단계 수를 감소시켜 수렴 속도를 높인다.
• 이 방법은 높은 재구성 품질을 유지하며 생물학적 샘플의 미세한 구조적 세부 정보를 그대로 보존한다.
• 측정치가 제한적이거나 노이즈가 많은 상황에서는 표준 DIP가 실용적으로 적용하기 어려울 정도로 느리기 때문에, 이 방법의 성능 향상 효과가 특히 두드러진다.
• 이 방법은 마이크로-CT를 초월한 다른 이미지 재구성 작업에도 일반화 가능하다.
• 코드와 실험 자료가 공개되어 있어 재현성과 향후 연구를 위한 기초를 제공한다.