[논문 리뷰] Stochastic EM methods with Variance Reduction for Penalised PET Reconstructions

Željko Kereta, Robert Twyman외 3명|arXiv (Cornell University)|2021. 06. 06.

Medical Imaging Techniques and Applications참고 문헌 52인용 수 13

한 줄 요약

이 논문은 퇴행적 PET 영상 재구성에 대해 두 가지 스토하스틱 분산 감소 방법—SVREM 및 분산 감소 기반 경사상승(SAGA/SVRG)—을 제안하며, 전통적인 OSEM보다 수렴 속도를 크게 향상시키면서도 안정성과 비음성(비음수성)을 보장한다. 이 방법들은 더 빠르고 안정적인 수렴을 이끌어내며, 특히 미세 구조를 해석하는 데 있어 더 뛰어난 영상 품질을 제공하여 수치 실험에서 기존의 OSEM 유형 알고리즘을 능가한다.

ABSTRACT

Expectation-maximization (EM) is a popular and well-established method for image reconstruction in positron emission tomography (PET) but it often suffers from slow convergence. Ordered subset EM (OSEM) is an effective reconstruction algorithm that provides significant acceleration during initial iterations, but it has been observed to enter a limit cycle. In this work, we investigate two classes of algorithms for accelerating OSEM based on variance reduction for penalised PET reconstructions. The first is a stochastic variance reduced EM algorithm, termed as SVREM, an extension of the classical EM to the stochastic context, by combining classical OSEM with insights from variance reduction techniques for gradient descent. The second views OSEM as a preconditioned stochastic gradient ascent, and applies variance reduction techniques, i.e., SAGA and SVRG, to estimate the update direction. We present several numerical experiments to illustrate the efficiency and accuracy of the approaches. The numerical results show that these approaches significantly outperform existing OSEM type methods for penalised PET reconstructions, and hold great potential.

연구 동기 및 목표

• 퇴행적 PET 재구성에서 전통적인 OSEM의 느린 수렴 속도와 한계 사이클 행동을 해결한다.
• 분산 감소를 통한 스토하스틱 최적화 방법을 개발하여 수렴 속도를 가속화하면서도 비음성과 안정성을 유지한다.
• 기계 학습 분야의 최신 스토하스틱 최적화 기법을 PET 영상 재구성에 통합하여 효율성을 향상시킨다.
• 제안된 알고리즘에 대해 상수 조건자 조건 하에서 이론적 보장 하에 최대 사후확률(MAP) 해에 수렴하도록 보장한다.

제안 방법

• MAP PET 재구성에 대해 분산 감소 기반 보조 통계 기반 페널티 처리를 결합한 스토하스틱 분산 감소 기반 EM 알고리즘인 SVREM을 제안한다.
• 수렴 가속화와 업데이트 안정화를 위해 충분 통계의 누적 평균과 분산 감소를 사용한다.
• OSEM을 조건자 조건이 부여된 스토하스틱 경사상승으로 재구성하고, SAGA 및 SVRG를 사용하여 업데이트 방향의 분산 감소를 적용한다.
• 경사 기반 방법에서 비음성 조건을 유지하기 위해 투영 단계(근접 사상)를 적용하여 물리적 타당성을 확보한다.
• 수렴 속도와 안정성의 균형을 위해 대각 조건자와 스텝 크기 스케줄을 활용한다.
• 이론적 분석을 통해 상수 조건자 조건 하에서 수정된 우도수의 거의 확실한 수렴이 최대화자에 대해 보장됨을 증명한다.

실험 결과

연구 질문

• RQ1 스토하스틱 최적화에서 유래한 분산 감소 기법이 퇴행적 PET 재구성에 효과적으로 적용되어 수렴 속도를 향상시킬 수 있는가?
• RQ2 SVREM 및 분산 감소 기반 경사하강 방법은 전통적인 OSEM과 비교해 수렴 속도와 영상 품질 측면에서 어떻게 다른가?
• RQ3 스텝 크기 선택 및 조건자 설계가 이러한 알고리즘의 안정성과 성능에 미치는 영향은 어떠한가?
• RQ4 이 방법들은 OSEM에서 흔히 나타나는 한계 사이클 행동을 피하면서도 초기 수렴 속도를 유지할 수 있는가?
• RQ5 비미분 가능 및 미분 가능 페널티 항 조건 하에서 이러한 알고리즘의 이론적 수렴 행동은 어떠한가?

주요 결과

• SVREM 및 분산 감소 기반 경사하강 방법(SAGA/SVRG)은 수렴 속도와 영상 품질 측면에서 전통적인 OSEM을 크게 능가하며, 특히 미세 구조를 해석하는 데서 두드러진 성능을 보인다.
• SVREM은 과잉 완화 조건 하에서도 한계 사이클 없이 안정적인 수렴을 달성하며, EM 기반 업데이트를 통해 비음성 조건을 유지한다.
• 적절한 스텝 크기와 상수 조건자 조건 하에서 이론적 보장 하에 MAP 해에 수렴한다.
• 수치 결과에 따르면, SVREM은 200 에포크, 70개의 서브집합 조건에서 약 -1.370×10⁵의 로그우도를 달성하며 SAGA 및 SVRG를 능가한다.
• 픽셀 단위의 차이 영상 분석 결과, 50 및 200 에포크 후 SVREM 재구성 영상이 1000 에포크 기준 참조 영상에 훨씬 더 가까운 것으로 나타나 안정적인 진전을 보였다.
• 스텝 크기 α의 영향은 잘 제어되어 있으며, SVREM의 최적 성능은 α=0.7에서 관찰되었고, SAGA/SVRG의 경우 α=0.5–0.7 범위에서 최적 성능가능성이 확인되었으며, 적절한 튜닝에 따라 수렴 속도가 향상됨을 확인하였다.