[논문 리뷰] Block stochastic gradient descent for large-scale tomographic reconstruction in a parallel network

Yushan Gao, Ander Biguri외 1명|arXiv (Cornell University)|2019. 03. 28.

Medical Imaging Techniques and Applications참고 문헌 36인용 수 3

한 줄 요약

이 논문은 제한된 노드 저장 용량을 가진 분산 네트워워크에서 대규모 단층 촬영 재구성에 적합한 병렬 행동작 방법인 블록 스토하스틱 경사하강법(BSGD)을 제안한다. 반복마다 이미지의 블록만 업데이트하면서 확률적 경사하강법과 중요도 샘플링을 사용함으로써, SIRT, CAV 및 CSGD보다 더 빠른 수렴 속도와 향상된 정확도를 달성하면서도 상호 노드 간 통신을 줄였다. 특히 가우시안 노이즈와 총 변동성 정규화 조건 하에서 성능 향상이 두드러진다.

ABSTRACT

Iterative algorithms have many advantages for linear tomographic image reconstruction when compared to back-projection based methods. However, iterative methods tend to have significantly higher computational complexity. To overcome this, parallel processing schemes that can utilise several computing nodes are desirable. Popular methods here are row action methods, which update the entire image simultaneously and column action methods, which require access to all measurements at each node. In large scale tomographic reconstruction with limited storage capacity of each node, data communication overheads between nodes becomes a significant performance limiting factor. To reduce this overhead, we proposed a row action method BSGD. The method is based on the stochastic gradient descent method but it does not update the entire image at each iteration, which reduces between node communication. To further increase convergence speeds, an importance sampling strategy is proposed. We compare BSGD to other existing stochastic methods and show its effectiveness and efficiency. Other properties of BSGD are also explored, including its ability to incorporate total variation (TV) regularization and automatic parameter tuning.

연구 동기 및 목표

• 분산 계산을 활용한 대규모 반복적 CT 재구성에서 높은 계산 복잡도와 통신 오버헤드 문제를 해결한다.
• 각 반복마다 전체 이미지를 업데이트하는 대신 이미지 블록만 업데이트하여 병렬 단층 촬영 재구성에서 상호 노드 간 통신을 줄인다.
• 제한된 노드 저장 용량 조건 하에서 분산 환경에서의 수렴 속도 향상과 재구성 품질 향상을 달성한다.
• 분산 프레임워크 내에서 희소 시야 CT 재구성에 대해 총 변동성 정규화를 효과적으로 적용할 수 있도록 한다.
• 스토하스틱 최적화의 효율성과 대규모 비표준 CT 스캔 궤적에 대한 확장성을 결합한 방법을 개발한다.

제안 방법

• 전체 이미지 업데이트를 최소화하기 위해 반복마다 투사 데이터의 일부 및 이미지 블록만 처리하는 블록 단위 스토하스틱 경사하강법인 BSGD를 제안한다.
• 더 유informative한 투사 블록을 우선적으로 선택하기 위해 중요도 샘플링을 사용하여 수렴 속도를 가속화한다.
• 세 단계 반복 업데이트를 수행한다: (1) 보조 변수 z를 통한 잔차 추적, (2) g를 통한 경사도 추정, (3) 스텝 사이즈 μ를 사용한 x에 의한 이미지 업데이트.
• A를 M개의 행 블록과 N개의 열 블록으로 블록 단위 행렬 분할하여, 부분 데이터 접근이 가능한 노드 간 분산 계산을 가능하게 한다.
• 목적 함수를 수정하고 BSGD 업데이트 규칙에 통합함으로써 총 변동성(TV) 정규화를 통합한다.
• 확률적 샘플링을 모델링하고 최소 제곱 해로의 수렴을 보장하기 위해 랜덤 대각 투사 행렬 R1, R2, R3를 사용한다.

실험 결과

연구 질문

• RQ1 블록 단위 스토하스틱 경사하강법은 수렴 속도를 희생시키지 않고도 분산 대규모 단층 촬영 재구성에서 통신 오버헤드를 줄일 수 있는가?
• RQ2 CT 재구성에 대한 스토하스틱 경사하강법에서 중요도 샘플링은 균일 샘플링 전략에 비해 BSGD의 수렴에 어떻게 기여하는가?
• RQ3 가우시안 노이즈 조건 하에서 BSGD는 SIRT, CAV 및 CSGD와 비교해 재구성 정확도와 속도에서 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 BSGD는 분산 환경에서 희소 시야 CT 재구성에 대해 총 변동성 정규화를 효과적으로 통합할 수 있는가?
• RQ5 BSGD의 이론적 수렴 거동은 어떠한가? 고정점 분 析에서 최소 제곱 해로 수렴하는가?

주요 결과

• BSGD는 가우시안 노이즈 조건 하에서 SIRT, CAV 및 CSGD보다 더 빠른 수렴 속도와 높은 재구성 정확도를 달성한다.
• BSGD에서 중요도 샘플링을 사용함으로써 균일 샘플링 전략에 비해 수렴 속도가 크게 향상된다.
• BSGD는 각 반복마다 이미지 블록만 업데이트함으로써 상호 노드 간 통신을 줄여, 제한된 노드 저장 용량을 가진 시스템에 적합하다.
• 총 변동성 정규화를 통합한 BSGD-TV는 희소 시야 데이터로부터 이미지를 효과적으로 재구성하며, 저선량 CT 환경에서의 강건성을 입증한다.
• 실험 결과는 최소 제곱 해로의 수렴을 확인했으며, 이론적 분석은 최적 해로의 수렴을 시사하지만, 공식 증명은 아직 미흡하다.
• BSGD는 SVRG 및 ORBCDVD와 같은 기계학습 기반 최적화 방법보다 CT 재구성 작업에서 계산 효율성이 뛰어나다.