[논문 리뷰] Deriving Neural Network Architectures using Precision Learning: Parallel-to-fan beam Conversion

Christopher Syben, Bernhard Stimpel외 4명|arXiv (Cornell University)|2018. 07. 09.

Advanced MRI Techniques and Applications참고 문헌 7인용 수 4

한 줄 요약

이 논문은 하이브리드 MRI/X선 영상에서 평행 beam에서 원추 beam으로의 변환을 위한 정밀 학습 기반 신경망을 제안한다. 기존의 보간에 의존하는 재배열 기법을 대체하여, 미분 가능하고 컨볼루션 기반의 필터 학습 방식을 사용한다. 이 방법은 해상도 손실을 방지함으로써 더 선명한 영상을 얻는다. 최소한의 학습 가능한 파rameter를 사용하여 합성 데이터로부터 투사별로 독립적이고 종속적인 필터를 학습한다.

ABSTRACT

In this paper, we derive a neural network architecture based on an analytical formulation of the parallel-to-fan beam conversion problem following the concept of precision learning. The network allows to learn the unknown operators in this conversion in a data-driven manner avoiding interpolation and potential loss of resolution. Integration of known operators results in a small number of trainable parameters that can be estimated from synthetic data only. The concept is evaluated in the context of Hybrid MRI/X-ray imaging where transformation of the parallel-beam MRI projections to fan-beam X-ray projections is required. The proposed method is compared to a traditional rebinning method. The results demonstrate that the proposed method is superior to ray-by-ray interpolation and is able to deliver sharper images using the same amount of parallel-beam input projections which is crucial for interventional applications. We believe that this approach forms a basis for further work uniting deep learning, signal processing, physics, and traditional pattern recognition.

연구 동기 및 목표

• 하이브리드 MRI/X선 영상에서 기존의 레이별 보간 기반 재배열 과정에서 발생하는 해상도 손실 문제를 해결하기 위해.
• 분석 신호 처리 모델에 기반한 신경망 아키텍처를 도출하여, 알려진 물리적 연산자를 통합함으로써 파rameter 수를 줄이기 위해.
• 추가 하드웨어 없이도 고프레임레이트의 진단 영상 촬영을 가능하게 하기 위해 효율적이고 컴act한 필터를 학습하여 재배열에 활용하기 위해.
• 데이터 기반 필터 학습이 기존의 재배열 방식보다 우수한 성능을 보이며 이미지의 선명함을 유지할 수 있는지 탐색하기 위해.
• 심층 학습, 물리 기반 모델링, 신호 처리를 의료 영상 분야에 통합하는 기반을 마련하기 위해.

제안 방법

• 평행에서 원추 beam으로의 변환 문제를 선형 시스템으로 설정하여, 알려진 연산자(예: 기하학적 투영 모델)를 네트워크에 통합함으로써 미지 수를 줄인다.
• 정밀 학습 기반의 접근 방식을 사용하여, 오직 미지의 필터 성분만을 학습함으로써 학습 가능한 파rameter 수를 극도로 줄인다.
• 투사별로 독립적이고 종속적인 두 종류의 필터를 제안하며, 둘 다 주파수 도메인에서 학습 가능한 컨볼루션 필터로 구현된다.
• 합성 MRI 투사 데이터를 사용하여 네트워크를 엔드 투 엔드로 훈련시키며, 재구성 오차를 최소화하기 위해 평균 제곱 오차 손실을 사용한다.
• 특히 해상도가 높은 진폭 변동을 보이는 투사별로 독립적인 필터의 경우 안정성을 확보하기 위해 가우시안 스무딩을 통한 정규화를 적용한다.
• 계산 비용이 높은 시스템 행렬의 역행렬을 주파수 도메인의 학습된 효율적인 컨볼루션 필터로 대체한다.

실험 결과

연구 질문

• RQ1 정밀한 분석 수식 기반의 평행에서 원추 beam으로의 변환 문제로부터 데이터 기반 신경망 아키텍처를 도출할 수 있는가?
• RQ2 물리 기반 네트워크에서 미지 연산자를 학습함으로써 필요한 훈련 샘플 수를 줄이고 재구성의 선명함을 향상시킬 수 있는가?
• RQ3 학습된 컨볼루션 기반 필터가 기존의 레이별 보간 방식보다 영상 해상도와 선명함 측면에서 뛰어난 성능을 보일 수 있는가?
• RQ4 입력 투사 수에 따라 투사별로 독립적이고 종속적인 필터의 형태와 행동 양상은 어떻게 변화하는가?
• RQ5 리프시츠 연속성 또는 대칭 제약 조건과 같은 정규화 전략이 필터의 안정성과 일반화 능력을 향상시킬 수 있는가?

주요 결과

• 기존의 재배열 방식에서 발생하는 보간에 의한 부드러움을 제거함으로써 제안된 방법이 더 선명한 영상을 생성한다.
• 동일한 수의 평행 beam 투사 수를 사용함에도 불구하고, 네트워크는 더 뛰어난 영상 품질을 달성한다. 이는 시간이 중요한 진단적 응용 분야에서 매우 중요하다.
• 투사별로 독립적인 필터는 낮은 투사 수(예: 5 또는 7개)의 경우 높은 진폭 변동을 보이며, 이는 훈련 데이터의 주파수 커버리지 민감도를 시사한다.
• 3개 및 5개의 투사 수에서 투사별로 종속적인 필터는 U자형 프로파일을 보이며, 저주파 성분의 억제를 나타내며 이는 더 빠른 MR 촬영을 가능하게 할 수 있다.
• 가우시안 스무딩 정규화는 필터 가중치나 도함수에 ℓ1 또는 ℓ2 노름을 적용하는 것보다 더 안정적인 훈련과 더 나은 결과를 이끌어냈다.
• 더 나은 필터 설계를 통해 k-space 샘플링 포인트의 수를 추가로 줄일 수 있으며, 이는 최적의 샘플링 궤적을 분석적으로 결정할 수 있음을 시사한다.