[논문 리뷰] ADMM Penalty Parameter Selection by Residual Balancing

Brendt Wohlberg|arXiv (Cornell University)|2017. 04. 20.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 52

한 줄 요약

본 논문은 ADMM의 적응형 페널티 매개변수 스킴을 분석하고, 널리 사용되는 잔차 균형 추정치의 결함을 보여주며, 상대 잔차 및 스케일링 고려를 이용한 완화를 제안한다.

ABSTRACT

Appropriate selection of the penalty parameter is crucial to obtaining good performance from the Alternating Direction Method of Multipliers (ADMM). While analytic results for optimal selection of this parameter are very limited, there is a heuristic method that appears to be relatively successful in a number of different problems. The contribution of this paper is to demonstrate that their is a potentially serious flaw in this heuristic approach, and to propose a modification that at least partially addresses it.

연구 동기 및 목표

• ADMM에 대한 기존의 적응형 페널티 매개변수 규칙의 효과를 평가한다.
• 페널티 업데이트에 영향을 미치는 스케일링 관련 문제를 식별한다.
• 문제 규모 전반에 걸친 페널티 적응의 강인성을 개선하기 위한 수정안을 제안한다.
• Basis Pursuit DeNoising(BPDN) 및 CBPDN 사례를 통해 개념을 설명한다.

제안 방법

• ADMM 공식화 및 잔차 기반 수렴 지표를 검토한다.
• 문제 변환 하에서의 ADMM의 스케일링 특성을 분석한다.
• He 등(He et al.)의 잔차 균형 업데이트 규칙과 한계를 검토한다.
• 상대 잔차(r_rel 및 s_rel)를 이용한 스케일 불변 업데이트를 제안한다.
• 적응적 승수 정책과 잠재적 개선(τ 조정, xi를 통한 국소 스케일링)을 논의한다.
• 개념을 BPDN 및 CBPDN에 적용하여 동작을 설명한다.

실험 결과

연구 질문

• RQ1 스케일링된 문제 인스턴스 전반에서 ADMM 페널티 매개변수의 표준 잔차 균형 적응 규칙이 수렴을 신뢰성 있게 이끄는가?
• RQ2 문제 스케일링 및 잔차 정의가 적응형 페널티 업데이트의 효과성과 불변성에 어떠한 영향을 미치는가?
• RQ3 잔차 균형을 수렴 보장을 해치지 않으면서 스케일링 불변으로 재정의할 수 있는가?
• RQ4 희소 표현 문제에서 강건성을 높이는 실용적 수정(예: 상대 잔차, 적응적 τ, 스케일링된 업데이트)은 무엇인가?

주요 결과

• 본 논문은 ADMM 페널티 매개변수 업데이트를 위한 일반적인 잔차 균형 휴리스틱에서 잠재적으로 심각한 결함을 보여준다.
• 표준 업데이트에 사용되는 잔차가 문제 스케일링하에서 일관되게 스케일되지 않아 문제 형식이 스케일될 때 성능 저하를 초래할 수 있음을 보인다.
• 제안된 수정은 상대 잔차를 사용하여 페널티 업데이트의 스케일 불변성을 달성하고 식별된 결함을 해결한다.
• 수렴 프레임워크는 수렴 보장을 유지하면서 조정된 중지 기준과 함께 상대 잔차를 사용하는 것을 뒷받침한다.
• 토론은 계산 비용과 수렴 속도의 균형을 맞추기 위한 적응적 승수 정책 및 실용적 고려 사항(예: 업데이트 빈도, τ)을 포함한다.
• 예시로 Basis Pursuit DeNoising 및 Convolutional BPDN을 포함하여 반복 횟수 및 잔차 진화에 미치는 영향을 강조한다.