[논문 리뷰] CoIL: Coordinate-based Internal Learning for Imaging Inverse Problems

Yu Sun, Jiaming Liu외 3명|arXiv (Cornell University)|2021. 02. 09.

Medical Imaging Techniques and Applications참고 문헌 96인용 수 18

한 줄 요약

CoIL은 영상 역문제에서 측정 필드의 연속적 표현을 학습하기 위해 좌표 입력(예: 시야 각도 및 검출기 위치)을 센서 반응으로 매핑하는 다층 퍼셉트론(MLP)을 사용하는 자기지도 학습 기반 딥러닝 방법을 제안한다. 테스트 객체의 고유한 희소하고 노이즈가 많은 측정값만으로도 훈련함으로써 CoIL은 다양한 방법(모델 기반 및 딥러닝 기반 접근법 포함)에서 재구성 품질을 크게 향상시키는 고해상도 전체 시노그램을 생성한다. 이는 희소 시야 CT에서 성능 향상을 이끈다.

ABSTRACT

We propose Coordinate-based Internal Learning (CoIL) as a new deep-learning (DL) methodology for the continuous representation of measurements. Unlike traditional DL methods that learn a mapping from the measurements to the desired image, CoIL trains a multilayer perceptron (MLP) to encode the complete measurement field by mapping the coordinates of the measurements to their responses. CoIL is a self-supervised method that requires no training examples besides the measurements of the test object itself. Once the MLP is trained, CoIL generates new measurements that can be used within a majority of image reconstruction methods. We validate CoIL on sparse-view computed tomography using several widely-used reconstruction methods, including purely model-based methods and those based on DL. Our results demonstrate the ability of CoIL to consistently improve the performance of all the considered methods by providing high-fidelity measurement fields.

연구 동기 및 목표

• 단일 객체의 측정값 내부의 재복제 특성을 활용하여 고해상도 측정 필드 재구성에 적합한 자기지도 학습 기반 딥러닝 방법을 개발하는 것.
• 외부 훈련 데이터셋이 필요 없도록 테스트 객체의 고유한 희소하고 노이즈가 많은 측정값만으로도 훈련하는 것.
• 모델 기반 및 딥러닝 기반 기법을 포함한 다양한 영상 재구성 방법과의 상호 운용성을 보장하는 것.
• 좌표 기반 신경망 표현이 단층촬영에서 영상 역문제를 효과적으로 모델링하고 향상시킬 수 있음을 입증하는 것.

제안 방법

• 다층 퍼셉트론(MLP)이 측정 좌표(예: 시야 각도 θ 및 검출기 위치 l)를 센서 반응 r로 매핑하도록 훈련되어 전체 측정 필드의 연속적 표현을 형성한다.
• MLP는 실제 테스트 객체의 측정값에서 추출한 좌표-반응 쌍을 사용하여 훈련되며, 이로 인해 자기지도 학습 및 데이터 효율성이 확보된다.
• 단지 256개의 은닉 뉴런을 가진 새로운 MLP 아키텍처를 사용하여 작고 효율적인 크기임에도 불구하고 빠른 훈련과 구현이 가능하다.
• 훈련된 MLP는 임의의 좌표에서 네트워크를 쿼리하여 고해상도 전체 시노그램을 생성하며, 이는 표준 재구성 알고리즘의 입력으로 사용될 수 있다.
• 기존의 모델 기반 방법(FBP, FISTA-TV 등)과 딥러닝 기반 방법(FBP-UNet, GM-RED 등) 모두에 대해 향상된 측정 입력을 제공함으로써 상호 운용성이 보장된다.
• 훈련 안정화 및 학습된 측정 필드 품질 향상을 위해 선형 전개 기반의 FFM 레이어를 사용한다.

실험 결과

연구 질문

• RQ1 좌표 기반 신경망 표현은 테스트 객체의 고유한 희소하고 노이즈가 많은 측정값만으로도 고해상도 연속적 측정 필드를 학습할 수 있는가?
• RQ2 입력 데이터의 시야 수와 노이즈 수준에 따라 재구성된 측정 필드의 품질은 어떻게 변하는가?
• RQ3 제안된 방법이 다양한 재구성 알고리즘에서 영상 재구성 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 모델 기반 및 딥러닝 기반 재구성 프레임워크 양쪽 모두에서 일관되게 성능 향상을 이끌 수 있는가?

주요 결과

• CoIL이 생성한 시노그램은 항상 입력 측정값보다 더 높은 SNR를 확보하며, 모든 시야 수에서 입력 SNR가 30 dB일 경우에도 7 dB 이상의 향상이 이루어진다.
• 60개 시야, 입력 SNR 30 dB 조건에서 FBP의 경우 CoIL이 재구성 SNR을 최대 20 dB 향상시켜 고노이즈 환경에서도 뚜렷한 성능 향상을 입증했다.
• 낮은 노이즈 조건(입력 SNR 50 dB)에서도 CoIL은 측정값 향상 효과를 보였다: FBP-UNet은 CoIL 생성 측정값을 사용할 경우 1.02 dB의 SNR 향상을 달성했다.
• 시각적 비교 결과, 특히 박스로 표시된 영역에서 화재 구조적 세부 정보가 향상되고 잡음 및 아티팩트가 감소한 명확한 향상이 관찰되었다.
• 모델 기반 기법(FBP, FISTA-TV 등)과 딥러닝 기반 기법(FBP-UNet, GM-RED 등)을 포함한 모든 테스트된 재구성 알고리즘에서 CoIL이 상호 보완적으로 성능 향상을 이끌어내어 광범위한 호환성과 효과성을 입증했다.
• 더 많은 시야 또는 낮은 노이즈 조건에서 CoIL이 생성한 측정 필드의 품질이 향상됨을 확인하여, 입력 조건에 대한 스케일러빌리티와 강건성을 입증했다.