[논문 리뷰] Convergence for nonconvex ADMM, with applications to CT imaging

Rina Foygel Barber, Emil Y. Sidky|PubMed|2020. 06. 12.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 5

한 줄 요약

이 논문은 목적 함수의 미분 가능성이나 연속성 조건 없이도 비볼록 ADMM 알고리즘에 대한 수렴 보장을 제시한다. 제약 강한 볼록성(RSC) 조건을 가정함으로써, 데이터 피드백 항과 정규화 항이 모두 비연속적이고 비볼록인 경우에도 복소단층 컴퓨터 톰그래피(CT)에서의 안정적인 영상 복원이 가능함을 보여주며, 이는 시뮬레이션된 CT 및 분위수 회귀 예제를 통해 이론적이고 경험적으로 검증된다.

ABSTRACT

The alternating direction method of multipliers (ADMM) algorithm is a powerful and flexible tool for complex optimization problems of the form <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>m</mml:mi> <mml:mi>i</mml:mi> <mml:mi>n</mml:mi> <mml:mo>{</mml:mo> <mml:mi>f</mml:mi> <mml:mo>(</mml:mo> <mml:mi>x</mml:mi> <mml:mo>)</mml:mo> <mml:mo>+</mml:mo> <mml:mi>g</mml:mi> <mml:mo>(</mml:mo> <mml:mi>y</mml:mi> <mml:mo>)</mml:mo> <mml:mspace></mml:mspace> <mml:mo>:</mml:mo> <mml:mspace></mml:mspace> <mml:mi>A</mml:mi> <mml:mi>x</mml:mi> <mml:mo>+</mml:mo> <mml:mi>B</mml:mi> <mml:mi>y</mml:mi> <mml:mo>=</mml:mo> <mml:mi>c</mml:mi> <mml:mo>}</mml:mo></mml:math> . ADMM exhibits robust empirical performance across a range of challenging settings including nonsmoothness and nonconvexity of the objective functions <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>f</mml:mi></mml:math> and <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>g</mml:mi></mml:math> , and provides a simple and natural approach to the inverse problem of image reconstruction for computed tomography (CT) imaging. From the theoretical point of view, existing results for convergence in the nonconvex setting generally assume smoothness in at least one of the component functions in the objective. In this work, our new theoretical results provide convergence guarantees under a restricted strong convexity assumption without requiring smoothness or differentiability, while still allowing differentiable terms to be treated approximately if needed. We validate these theoretical results empirically, with a simulated example where both <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>f</mml:mi></mml:math> and <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>g</mml:mi></mml:math> are nondifferentiable-and thus outside the scope of existing theory-as well as a simulated CT image reconstruction problem.

연구 동기 및 목표

• 현대 영상 문제에서 흔한 비볼록성과 비연속성 조건에서 기존 이론이 적용되지 않는 ADMM의 이론적 수렴 보장 부족 문제를 해결하기 위해.
• 기존 이론을 넘어서 목적 함수의 연속성이나 미분 가능성 조건 없이도 ADMM의 수렴 프레임워크를 개발하기 위해.
• 비볼록성과 비연속성을 동시에 갖는 성분을 포함한 시뮬레이션된 분위수 회귀 문제와 CT 영상 복원 과제에서 이론적 결과를 경험적으로 검증하기 위해.
• 비볼록성과 비연속성이 널리 퍼져 있는 의료 영상 분야의 어려운 역문제, 예를 들어 CT와 같은 문제에 대해 ADMM의 신뢰할 수 있는 적용을 가능하게 하기 위해.

제안 방법

• 기울기 연산이 가능한 목적 함수 성분에 대해 선형 근사를 사용하는 선형화된 ADMM 변형을 제안하여 갱신을 구체적으로 계산 가능하게 한다.
• 가능성 집합 상에서 제약 강한 볼록성(RSC) 조건을 도입하여, 전체 목적 함수의 연속성 조건 없이도 수렴을 보장한다.
• f(x) = f_c(x) + f_d(x), g(y) = g_c(y) + g_d(y) 형태로 분해된 문제에 적용하며, 여기서 f_c와 g_c는 볼록(비연속 가능)이고, f_d와 g_d는 이중 미분 가능(비볼록 가능)하다.
• 선형 제약 조건 Ax + By = c 를 강화된 라그랑주 함수를 통해 강제하기 위해 정정규 행렬 Σ를 사용한다.
• 반복적 갱신을 수행한다: x_{t+1} = argmin_x L_Σ(x, y_t, u_t), y_{t+1} = argmin_y L_Σ(x_{t+1}, y, u_t), u_{t+1} = u_t + Σ(Ax_{t+1} + By_{t+1} - c).
• 수렴성을 수치적 검증을 통해 확인하며, 이는 전역 수렴이 아닌 RSC 조건과 반복점에서의 근사 1차 최적성 조건을 기반으로 한다.

실험 결과

연구 질문

• RQ1 존재하는 이론이 실패하는 비볼록성과 비연속성 조건에서 ADMM의 수렴을 보장할 수 있는가?
• RQ2 제약 강한 볼록성(RSC) 조건이 목적 함수의 연속성 조건 없이도 ADMM의 수렴을 보장하는 데 충분한가?
• RQ3 데이터 피드백 항과 정규화 항이 모두 비볼록성과 비연속성을 갖는 상황에서 제안된 ADMM 변형이 CT 영상 복원에 성공적으로 적용될 수 있는가?
• RQ4 반복점의 이동 평균의 수렴이 충분한가, 아니면 반복점 자체의 더 강력한 수렴을 확보할 수 있는가?
• RQ5 이론적 프레임워크를 대규모 응용 분야인 CT 영상 복원에 적합한 확률적 ADMM로 확장할 수 있는가?

주요 결과

• 비볼록 ADMM에 대해 제약 강한 볼록성(RSC) 조건 하에서 이론적 수렴 보장을 확립하였으며, f와 g가 모두 비연속적이고 비볼록일 경우에도 적용 가능하다.
• CT 예제에서 RSC 조건은 반복 전반에 걸쳐 비율 α_t 가 0에서 멀리 떨어져 있음을 통해 경험적으로 검증되었으며, 이는 알고리즘 경로 상에서 가정이 성립함을 확인한다.
• CT 시뮬레이션에서 근사 1차 최적성 조건이 검증되었으며, ‖∇g(ỹ)‖₂ / ‖∇g(0)‖₂ = 0.000769 로 나타나 근사 최적 해의 품질이 매우 높음을 시사한다.
• f와 g가 모두 비미분 가능할 경우에도 알고리즘이 시뮬레이션된 CT 문제에서 영상 복원에 성공하였으며, 이는 이전 이론적 보장이 적용되지 않는 영역이다.
• 경험적 결과로 반복점의 이동 평균은 수렴하는 것으로 나타났지만, 더 강력한 가정 없이선 개별 반복점 x_t와 y_t의 수렴은 보장되지 않는다.
• 표준 볼록 ADMM 이론이 적용되지 않는 고차원적이고 악조건이 된 역문제, 예를 들어 CT 영상 복원과 같은 문제에서 강력한 성능을 발휘한다.