[논문 리뷰] Approximate message-passing for convex optimization with non-separable penalties

Andre Manoel, Florent Krząkała외 3명|arXiv (Cornell University)|2018. 09. 17.

Optimization and Search Problems참고 문헌 5인용 수 9

한 줄 요약

이 논문은 변수의 선형 변환에 대해 기대 일致 근사법을 적용하여, 총 변화(TV)와 같은 분리되지 않은 펜alties를 가진 볼록 문제를 위한 VAMP 기반 최적화 알고리즘을 제안한다. 이 방법은 벡터 근사 메시지 전파 원리를 통해 단계 크기를 적응적으로 설정함으로써, 단층촬영 및 fMRI 분류 작업에서 FISTA와 ADMM보다 빠른 수렴을 달성한다.

ABSTRACT

We introduce an iterative optimization scheme for convex objectives consisting of a linear loss and a non-separable penalty, based on the expectation-consistent approximation and the vector approximate message-passing (VAMP) algorithm. Specifically, the penalties we approach are convex on a linear transformation of the variable to be determined, a notable example being total variation (TV). We describe the connection between message-passing algorithms -- typically used for approximate inference -- and proximal methods for optimization, and show that our scheme is, as VAMP, similar in nature to the Peaceman-Rachford splitting, with the important difference that stepsizes are set adaptively. Finally, we benchmark the performance of our VAMP-like iteration in problems where TV penalties are useful, namely classification in task fMRI and reconstruction in tomography, and show faster convergence than that of state-of-the-art approaches such as FISTA and ADMM in most settings.

연구 동기 및 목표

• 비분리 페널티(예: 총 변화)를 갖는 볼록 문제를 위한 빠르고 적응적인 최적화 방법을 개발하는 것.
• 기대 일치(EC) 근사법을 변환된 변수에 재해석하여, 분리되지 않은 페널티로까지 확장된 벡터 근사 메시지 전파(VAMP) 알고리즘을 개발하는 것.
• FISTA 및 ADMM가 비분리 설정에서 겪는 한계, 즉 내부 루프 프록시멀 평가와 단계 크기 선택에 대한 민감성 문제를 해결하는 것.
• 실세계 문제인 fMRI 분류 및 단층촬영 재구성과 같은 과제에서 제안된 방법의 실용적 효과를 입증하는 것.

제안 방법

• 변수 x가 아니라 그 선형 변환 z = Kx에 대해 기대 일치(EC) 근사법을 재정의함으로써, TV와 같은 비분리 페널티에의 적용을 가능하게 한다.
• 변환된 변수에 대한 정규 우선확률을 가정하고, Kx에 대한 볼록 페널티를 포함한 펚합 최소제곱 목적함수로 최적화 문제를 설정한다.
• 표준형 가우시안을 사용하여 변환된 변수의 평균과 분산에 대한 固定점 반복을 유도함으로써, 적응형 단계 크기 선택을 가능하게 한다.
• EC 자유 에너지에서 유도된 업데이트 규칙은 온살러 반응 항과 적응형 분산 추정을 포함하는 VAMP 유사 알고리즘으로 이어진다.
• 고차원 설정에서의 효율성을 위해(n ≪ p), 유크베리 공식과 AAT의 고유분해를 사용하여 계산 비용을 O(np)로 감소시킨다.
• TV 페널티의 경우, 라플라시안 연산자 KTK를 푸리에 변환을 통해 대각화함으로써 FFT를 통한 빠른 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 VAMP는 비분리 페널티(예: 총 변화)를 갖는 볼록 최적화 문제에 적응하여 적용될 수 있는가?
• RQ2 제안된 EC 기반 VAMP 변형은 비분리 정규화가 포함된 문제에서 FISTA 및 ADMM보다 더 빠른 수렴을 달성하는가?
• RQ3 제안된 방법의 적응형 단계 크기 선택은 전통적 프록시멀 알고리즘의 고정 또는 수동 조정된 단계 크기와 비교해 어떻게 성능을 발휘하는가?
• RQ4 내부 루프 프록시멀 평가나 단계 크기 조정이 필요 없이 VAMP 프레임워크를 비분리 페널티로 확장할 수 있는가?
• RQ5 fMRI 분류 및 단층촬영 재구성과 같은 실세계 과제에서의 방법의 경험적 성능는 어떠한가?

주요 결과

• 제안된 VAMP 기반 알고리즘은 총 변화 정규화가 포함된 다양한 벤치마크 문제에서 FISTA 및 ADMM보다 더 빠른 수렴을 보였다.
• fMRI 분류 과제에서, 제안된 방법은 FISTA 및 ADMM보다 훨씬 적은 반복 수로 경쟁 가능한 정확도를 달성하였다.
• 단층촬영 재구성 과제에서, 알고리즘은 더 빠른 수렴과 개선된 재구성 품질을 보였으며, 특히 저SNR 환경에서 두각을 나타냈다.
• 적응형 단계 크기 메커니즘이 수동 조정이 필요 없고, 비분리 설정에서 FISTA의 내부 루프 계산 병목 현상을 피할 수 있었다.
• TV 페널티의 경우 고유분해와 FFT를 활용하여 효율적인 계산이 가능해졌으며, 대규모 문제에서도 여전히 O(np) 복잡도를 유지하였다.
• 경험적 결과는 알고리즘이 강건하고 확장 가능하며, 모든 테스트 환경에서 최신 기술과 경쟁하거나 그 이상의 성능을 발휘함을 확인했다.