[논문 리뷰] Algorithms and software for projections onto intersections of convex and non-convex sets with applications to inverse problems

Bas Peters, Felix J. Herrmann|arXiv (Cornell University)|2019. 02. 26.

Sparse and Compressive Sensing Techniques참고 문헌 87인용 수 4

한 줄 요약

이 논문은 역문제에서 여러 개의 볼록 및 비볼록 제약 집합의 교차에 대한 투영을 효율적으로 계산하기 위한 새로운 알고리즘과 소프트웨어 패키지인 SetIntersectionProjection을 제안한다. 적응형 페널티 파라미터 선택, 병렬 계산, 다중 수준 가속 기법을 활용하여, Dykstra 알고리즘을 능가하며, 상호 간의 상충 관계가 없는 다양한 사전 지식을 통합한 효과적인 정규화를 가능하게 한다.

ABSTRACT

We propose algorithms and software for computing projections onto the intersection of multiple convex and non-convex constraint sets. The software package, called SetIntersectionProjection, is intended for the regularization of inverse problems in physical parameter estimation and image processing. The primary design criterion is working with multiple sets, which allows us to solve inverse problems with multiple pieces of prior knowledge. Our algorithms outperform the well known Dykstra's algorithm when individual sets are not easy to project onto because we exploit similarities between constraint sets. Other design choices that make the software fast and practical to use, include recently developed automatic selection methods for auxiliary algorithm parameters, fine and coarse grained parallelism, and a multilevel acceleration scheme. We provide implementation details and examples that show how the software can be used to regularize inverse problems. Results show that we benefit from working with all available prior information and are not limited to one or two regularizers because of algorithmic, computational, or hyper-parameter selection issues.

연구 동기 및 목표

• 역문제에서 여러 볼록 및 비볼록 제약 집합의 교차에 대한 투영을 계산하는 데 발생하는 계산적 과제를 해결한다.
• 개별 집합의 투영이 어려운 경우에 문제가 발생하는 기존 방법(예: Dykstra 알고리즘)의 한계를 극복한다.
• 예를 들어, 범위 제약, 희박성, 낮은 질량, 총 변동성 등의 다양한 사전 지식을 상호 간의 상충 관계가 없는 파라미터 없이 정규화에 통합할 수 있도록 한다.
• 실세계의 역문제에 적합한 병렬 처리 및 자동 파라미터 선택을 지원하는 실용적이고 고성능의 소프트웨어 패키지를 개발한다.
• 수렴성을 보장하면서 과도한 계산을 방지하기 위해 타당성과 반복 변수의 상대적 변화를 기반으로 한 강력한 정지 기준을 제공한다.

제안 방법

• 집합 교차 투영을 위한 ADMM 프레임워크에 특화된 Projection Adaptive Relaxed Simultaneous Direction Method of Multipliers (PARSDMM) 알고리즘을 제안한다.
• 지역 이중 변수 및 잔차 정보를 이용해 페널티 파라미터(ρ)와 유연성 파라미터(γ)의 적응형 업데이트 규칙을 도입하여 수렴 속도를 향상시킨다.
• 선형 변환(A_i)을 통해 투영 문제를 병렬 부분문제로 분해함으로써 세밀한 및 거친 병렬 처리를 가능하게 한다.
• 제약 집합 간의 구조적 유사성을 활용하여 계산 비용을 감소시키는 다중 수준 가속 기법을 사용한다.
• 타당성 오차(r^feas_i)와 반복 변수의 상대적 변화(r^evol)를 조합한 이중 정지 기준을 구현하여 수렴을 강인하게 감지한다.
• 노름 볼, 경계 제약, 카디널리티, 낮은 질량 행렬 등의 일반적인 집합에 대해 효율적인 투영 연산자를 통합한다.

실험 결과

연구 질문

• RQ1 개별 투영이 계산적으로 비용이 많이 드는 경우, 여러 볼록 및 비볼록 집합의 교차에 대한 투영을 효율적으로 계산할 수 있는가?
• RQ2 ADMM 기반 솔버에 대해 수렴을 향상시키되 수동 조정이 필요 없는 적응형 파라미터 선택 전략을 어떻게 설계할 수 있는가?
• RQ3 제약 집합 간의 구조적 유사성을 어떻게 활용하면 대규모 역문제에서 계산 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법이 복잡한 비볼록 제약 조건을 처리하면서도 Dykstra 알고리즘보다 빠르고 강인한 성능을 보일 수 있는가?
• RQ5 실제 역문제 응용에서 해의 정확성과 계산 비용의 균형을 잘 맞추기 위해 제안된 정지 기준은 얼마나 효과적인가?

주요 결과

• PARSDMM 알고리즘은 복잡하거나 비볼록 집합에 투영할 경우 Dykstra 알고리즘보다 수렴 속도와 강인성 면에서 뚜렷한 우수성을 보였다.
• 적응형 페널티 및 유연성 파라미터의 사용으로 수동 조정이 줄어들었고, 다양한 역문제 유형에서 수렴 속도가 향상되었다.
• 제약 집합 간 병렬 처리가 가능하여, 다중 코어 또는 GPU 가속 아키텍처에서 뚜렷한 성능 향상을 이룩했다.
• 다중 수준 가속 기법은 공통된 변환 도메인 등의 유사성을 활용하여 계산 비용을 효과적으로 감소시켰다.
• 타당성과 상대적 변화를 기반으로 한 이중 정지 기준은 최소한의 오버헤드로 정확한 수렴 감지를 보장하였으며, 수치 실험에서 ε^evol = 10⁻² 및 ε^feas_i = 10⁻³의 성능을 달성했다.
• 소프트웨어 패키지 SetIntersectionProjection은 상호 간의 상충 관계가 없는 파라미터 없이 다수의 사전 제약 조건을 통합함으로써 어려운 역문제, 예를 들어 동시 노이즈 제거-흐림 복원-손상 복구 및 이미지 색조 복원 문제를 성공적으로 정규화하였다.