[논문 리뷰] Deep Learning Techniques for Inverse Problems in Imaging

Greg Ongie, Ajil Jalal외 4명|arXiv (Cornell University)|2020. 05. 12.

Medical Imaging Techniques and Applications참고 문헌 140인용 수 9

한 줄 요약

이 논문은 영상의 역문제를 위한 딥러닝 기반 방법에 대한 종합적인 분류 체계를 제시하며, 알려진 전방 모델 여부와 지도 학습 대비 비지도 학습 여부의 두 축을 기준으로 방법을 분류한다. 이는 MRI 재구성 및 이미지 흐림 복원과 같은 과제에서 전통적인 정규화 방법을 능가하는 딥러닝의 잠재력을 입증하며, 합성곱 네트워크의 인덕티브 바이어스와 조기 정지 기법을 활용해 학습 데이터 없이도 최신 기술 수준의 성능을 달성하는 Deep Image Prior와 같은 방법을 포함한다.

ABSTRACT

Recent work in machine learning shows that deep neural networks can be used to solve a wide variety of inverse problems arising in computational imaging. We explore the central prevailing themes of this emerging area and present a taxonomy that can be used to categorize different problems and reconstruction methods. Our taxonomy is organized along two central axes: (1) whether or not a forward model is known and to what extent it is used in training and testing, and (2) whether or not the learning is supervised or unsupervised, i.e., whether or not the training relies on access to matched ground truth image and measurement pairs. We also discuss the trade-offs associated with these different reconstruction approaches, caveats and common failure modes, plus open problems and avenues for future work.

연구 동기 및 목표

• 이미징 분야의 역문제를 해결하기 위한 새로운 딥러닝 기법들을 체계적으로 정리하고 분류하기.
• 기반 학습 재구성에서 전방 모델과 지도 학습의 역할을 명확히 하기.
• 현재 접근법에서의 주요 트레이드오프, 실패 원인, 열려 있는 과제를 규명하기.
• 학습 데이터 부족 환경에서 비지도 및 자기지도 학습 방법(예: Deep Image Prior)의 잠재력을 부각하기.
• 미래의 연구를 위한 불확실성 정량화, 도메인 적응, 비선형 역문제 기반 기초 마련하기.

제안 방법

• 두 축의 분류 체계 제안: (1) 전방 모델이 알려져 있고 사용되는지 여부, (2) 학습이 지도 학습(쌍화된 데이터가 있는 경우)인지 비지도 학습(쌍화된 데이터가 없는 경우)인지.
• 측정값과 참값 이미지의 쌍을 기반으로 딥 네트워크를 훈련시켜 종단 간 재구성 맵핑을 학습하는 지도 학습 방법 검토.
• Deep Image Prior(DIP)와 같은 비지도 접근법 도입: 무작위로 초기화된 생성망을 사용하고 측정값에 최적화되도록 가중치를 조정하며, 정규화를 위해 인덕티브 바이어스에 의존.
• 실제 데이터가 제한된 실제 영상 과제에 대해 시뮬레이션된 또는 관련 도메인의 데이터에서 지식을 전이하기 위한 자기지도 학습 및 도메인 적응 기법 논의.
• 베이지안 딥러닝을 통한 불확실성 정량화 분석: 생성적 적대적 네트워크를 활용해 재구성된 이미지의 사후 분포 추정.
• 특히 위상 복원 문제를 포함한 비선형 역문제 분석 및 이론적 이해 부족과 일반화 문제에 대한 갭 규명.

실험 결과

연구 질문

• RQ1 딥러닝 방법은 전방 모델 사용 여부와 지도 학습 여부를 기반으로 체계적으로 어떻게 분류될 수 있는가?
• RQ2 이미지 재구성 과제에서 지도 학습과 비지도 학습 간 성능 및 일반화 성능의 트레이드오프는 무엇인가?
• RQ3 학습되지 않은 생성 모델인 DIP가 어떤 학습 데이터 없이도 이미지를 재구성하는 데 성공하는 이유는 무엇인가?
• RQ4 재구성된 이미지의 불확실성은 임상적 또는 과학적 응용에서 어떻게 정량화되고 의미 있게 활용될 수 있는가?
• RQ5 딥러닝을 비선형 역문제에 적용할 때의 제약 조건과 열려 있는 과제는 무엇인가?

주요 결과

• 특히 DIP와 같은 인덕티브 바이어스를 활용한 딥러닝 방법은 레이블이 없는 학습 데이터로도 고품질의 이미지를 과도하게 샘플링하거나 노이즈가 있는 측정값에서 재구성할 수 있다.
• DIP는 측정값에 맞게 생성망의 가중치를 최적화함으로써 MRI 재구성 과제에서 경쟁적인 성능을 달성하며, 조기 정지가 암묵적인 정규화 역할을 한다.
• DIP의 성공은 합성곱 네트워크가 매끄럽고 자연스러운 이미지로의 인덕티브 바이어스를 지닌 덕분이며, 노이즈 성분보다 먼저 자연스러운 이미지가 재구성되기 때문이다.
• 학습되지 않은 생성 모델인 DIP와 Deep Decoder는 픽셀 수보다 더 많은 파라미터를 가짐에도 불구하고 놀라운 일반화 성능를 보이며, 이는 더 나은 이론적 이해가 필요함을 시사한다.
• 실제 데이터가 제한된 의료 영상 분야에서 전이 학습 및 도메인 적응 기법이 시뮬레이션된 또는 관련 도메인의 데이터를 활용해 유망한 성과를 보이고 있다.
• 베이지안 딥러닝을 통한 불확실성 정량화는 실현 가능하며 유용하며, 최근 방법들은 CT 재구성에서 픽셀 단위의 분산 추정치를 제공하고 있다.