[논문 리뷰] Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning

Iksung Kang, Alexandre Goy외 1명|arXiv (Cornell University)|2020. 07. 21.

Photoacoustic and Ultrasonic Imaging참고 문헌 80인용 수 5

한 줄 요약

이 논문은 밀도 높고 층상이며 강하게 산란되는 물체의 국한된 입사각에서의 단층 촬영 재구성 문제를 개선하기 위해, 각도별 조명 시퀀스를 동적 시스템으로 모델링하는 새로운 순환 신경망(RNN)을 제안한다. 이 방법은 동적 처리와 각도 주의 메커니즘을 통해 정적 딥러닝 기반 접근법보다 잡음과 왜곡을 줄이고 재구성 정밀도를 향상시켜 실험 데이터에서 뛰어난 정량적 성능을 달성한다.

ABSTRACT

Limited-angle tomography of strongly scattering quasi-transparent objects is a challenging, highly ill-posed problem with practical implications in medical and biological imaging, manufacturing, automation, and environmental and food security. Regularizing priors are necessary to reduce artifacts by improving the condition of such problems. Recently, it was shown that one effective way to learn the priors for strongly scattering yet highly structured 3D objects, e.g. layered and Manhattan, is by a static neural network [Goy et al, Proc. Natl. Acad. Sci. 116, 19848-19856 (2019)]. Here, we present a radically different approach where the collection of raw images from multiple angles is viewed analogously to a dynamical system driven by the object-dependent forward scattering operator. The sequence index in angle of illumination plays the role of discrete time in the dynamical system analogy. Thus, the imaging problem turns into a problem of nonlinear system identification, which also suggests dynamical learning as better fit to regularize the reconstructions. We devised a recurrent neural network (RNN) architecture with a novel split-convolutional gated recurrent unit (SC-GRU) as the fundamental building block. Through comprehensive comparison of several quantitative metrics, we show that the dynamic method improves upon previous static approaches with fewer artifacts and better overall reconstruction fidelity.

연구 동기 및 목표

• 밀도 높고 층상이며 강하게 산란되는 물체에서 국한된 입사각 단층 촬영 재구성 문제의 매우 불안정한 성격을 해결하기 위해.
• 기존 정규화 기법이 실패하는 역산 산란 문제에서 재구성 정밀도를 향상시키고 잡음을 줄이기 위해.
• 각도별로 획득한 원시 영상 시퀀스를 시간적 순서로 모델링하여, 더 나은 사전 모델링을 위한 동적 학습을 가능하게 하기 위해.
• 스플릿 컨볼루션, 각도 주의 메커니즘, 활성화 함수와 같은 아키텍처 구성 요소들이 재구성 성능에 미치는 기여도를 평가하기 위해.
• RNN 기반 동적 학습이 복잡한 단층 촬영 재구성에서 정적 딥러닝 접근법을 능가하는가를 입증하기 위해.

제안 방법

• 다양한 각도에서의 조명에 의한 원시 강도 회절 패tern을 이산 시간 동적 시스템으로 간주하며, 각도 인덱스를 시간 단위로 사용한다.
• 두 단계 처리 파이프라인을 사용한다: 먼저 기울기 하강법과 이동 평균 연산을 통해 노이즈와 차원을 감소시키는 근사 시퀀스를 생성한다.
• 근사값은 잠재 표현으로 인코딩되어 새로운 스플릿 컨볼루션 게이트드 순환 유닛(SC-GRU)을 핵심 순환 블록으로 사용하는 순환 신경망에 입력된다.
• 각도 주의 메커니즘이 각각의 각도에서 온 입력을 그 정보성에 따라 가중치를 두어 특징 통합을 향상시킨다.
• 최종 은닉 상태 시퀀스는 주의 메커니즘을 통해 하나의 표현으로 통합되고, 3차원 굴절률 재구성으로 디코딩된다.
• 예측값과 진짜 3차원 물체 간의 차이를 최소화하는 손실 함수를 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 각도별 단층 촬영 데이터를 동적 시스템으로 모델링할 경우 정적 딥러닝 기반 방법보다 재구성 품질이 향상되는가?
• RQ2 스플릿 컨볼루션 게이트드 순환 유닛(SC-GRU)의 포함이 3차원 단층 촬영 재구성에서 특징 학습에 어떻게 기여하는가?
• RQ3 각도 주의 메커니즘이 정보가 많은 시야에 초점을 맞춰 재구성 정밀도를 어느 정도 향상시키는가?
• RQ4 활성화 함수와 파rameter 공유와 같은 아키텍처 구성 요소들이 국한된 입사각 단층 촬영에서 성능에 미치는 영향은 어떠한가?
• RQ5 RNN 기반 동적 학습이 밀도 높고 층상이며 강하게 산란되는 물체의 재구성에서 정적 신경망을 능가하는가?

주요 결과

• 제안된 RNN와 SC-GRU 아키텍처는 정적 3D-DenseNet 기반 모델보다 눈에 띄게 높은 재구성 정밀도를 달성했으며, 시각적 비교에서 잡음과 왜곡이 현저히 줄어들었다.
• 제거 실험 결과 스플릿 컨볼루션의 기여도가 가장 크며, 그 다음으로 각도 주의 메커니즘과 ReLU 활성화 함수의 기여도가 뒤이었다.
• 각도 주의 메커니즘이 각도 간에 거의 균일한 가중치로 수렴하는 것으로 나타나 데이터셋 내에서 통계적 각도 불변성이 존재함을 시사하지만, 여전히 측정 가능한 성능 향상 효과를 보였다.
• 정량적 지표인 PE, 워샤르스탄 거리, PCC는 테스트 물체의 모든 층에서 동적 방법이 정적 기반 모델보다 일관되게 뛰어난 성능을 보임을 입증했다.
• ReLU를 tanh 활성화 함수로 교체해도 성능 변화가 미미하여, ReLU의 역할이 다른 구성 요소만큼 중요하지 않다는 것을 시사한다.
• 강한 산란과 복잡한 3차원 구조를 효과적으로 처리하여 의료, 생물학적 및 산업 영상 분야의 응용에 유망한 성능을 보였다.