[논문 리뷰] Variable Smoothing for Weakly Convex Composite Functions

B\"ohm, Axel, Wright, Stephen J.|arXiv (Cornell University)|2020. 03. 17.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 14

한 줄 요약

이 논문은 약한 볼록 복합 함수를 최소화하기 위해 가변 스무딩 알고리즘을 제안한다. 더모어 엔velop을 사용하고 스무딩 파라미터를 점차 감소시켜, ϵ-근사 정적점에 도달하기 위한 반복 복잡도를 O(ϵ⁻³)로 달성한다. 이 방법은 프록시 연산자를 활용하며, 스무딩 방법(O(ϵ⁻²))와 하위기울기 방법(O(ϵ⁻⁴)) 사이를 보간하여, 이미지 복원과 같은 구조적 비스무스 문제에서 향상된 수렴성을 제공한다.

ABSTRACT

We study minimization of a structured objective function, being the sum of a smooth function and a composition of a weakly convex function with a linear operator. Applications include image reconstruction problems with regularizers that introduce less bias than the standard convex regularizers. We develop a variable smoothing algorithm, based on the Moreau envelope with a decreasing sequence of smoothing parameters, and prove a complexity of $\mathcal{O}(\epsilon^{-3})$ to achieve an $\epsilon$-approximate solution. This bound interpolates between the $\mathcal{O}(\epsilon^{-2})$ bound for the smooth case and the $\mathcal{O}(\epsilon^{-4})$ bound for the subgradient method. Our complexity bound is in line with other works that deal with structured nonsmoothness of weakly convex functions.

연구 동기 및 목표

• 부드러운 항과 선형 연산자에 의해 구성된 약한 볼록 함수를 포함하는 복합 함수 최소화 문제에 도전한다.
• 희소 복원 및 이미지 복원에서 ℓ1 정규화의 편향을 줄이기 위해, MCP 및 SCAD와 같은 비볼록, 약한 볼록 대체 정규화를 사용함으로써 이를 극복한다.
• 프록시 연산자를 통해 계산 가능성을 유지하면서도, 모어 엔velop을 활용해 비스무스 성분을 스무딩하는 구조적 알고리즘을 개발한다.
• ϵ-근사 정적점에 도달하기 위한 O(ϵ⁻³) 수렴 속도를 확립한다. 이는 스무딩 방법과 하위기울기 방법 사이를 보간한다.
• 이미지 노이즈 제거와 같은 실용적 응용에서, 단순 하위기울기 방법에 비해 가변 스무딩의 우수성을 입증한다. 비볼록 정규화를 사용한 경우에 대해

제안 방법

• 약한 볼록 함수 g의 스무딩 근사로 더모어 엔velop을 사용하며, 파라미터 µ로 제어하여 스무딩된 대체 목적함수 Fµ = h + gµ ◦ A를 구성한다.
• 기울기 기반 강하 단계를 적용한다: x ← x − γ∇(h + gµ ◦ A)(x), 적응형 스텝 사이즈 γ를 사용하여 스무딩된 목적함수를 최소화한다.
• 점차 감소하는 스무딩 파라미터의 수열 {µk}을 사용하여 점진적으로 근사치를 정밀화하고 수렴을 이끈다.
• 핵심 비볼록 정규화(예: MCP, SCAD, 투키 이중중량)의 경우, µg의 프록시 연산자가 닫힌 형태로 계산 가능함을 보장하여 효율적 구현을 가능하게 한다.
• 더모어 엔velop의 기울기 노름을 기반으로 한 비판성 측도를 분석하여, 정적점의 스무딩 대체 측도를 제공한다.
• 비판성과 타당성 측도의 감소를 균형 있게 유지하기 위해, k⁻¹/³ 비율로 감쇠하는 적절히 선택된 µk 수열을 사용한다.

실험 결과

연구 질문

• RQ1 더모어 엔velop을 통한 가변 스무딩이, 약한 볼록 복합 문제에 대해 블랙박스 하위기울기 방법보다 더 낮은 반복 복잡도를 달성할 수 있는가?
• RQ2 제안된 알고리즘의 수렴 속도는 부드러운 비볼록 문제에 대한 표준 기울기 강하법과 비교하여 어떻게 되는가?
• RQ3 비볼록 정규화(예: MCP, SCAD)의 사용이 이미지 복원에서 ℓ1 정규화에 비해 솔루션 편향을 얼마나 줄이는가?
• RQ4 비판성과 타당성의 균형을 확보하기 위해 스무딩 파라미터 수열 {µk}의 최적 감쇠 비율은 무엇인가?
• RQ5 가변 스무딩 프레임워크는 간단한 덧셈 형태를 초월해 일반 선형 연산자 A를 포함하는 복합 구조 g(Ax)에 일반화될 수 있는가?

주요 결과

• 제안된 가변 스무딩 알고리즘은 ϵ-근사 정적점에 도달하기 위한 O(ϵ⁻³) 반복 복잡도를 달성한다. 이는 스무딩 비볼록 문제의 O(ϵ⁻²) 상한과 하위기울기 방법의 O(ϵ⁻⁴) 상한 사이에 정확히 놓여 있다.
• 이 수렴 속도는 약한 볼록 복합 문제의 클래스에 대해 최적이며, 다른 구조적 비스무스 방법의 알려진 상한과 일치한다.
• 수치 실험에서 MCP 기반 총 변동성에 기반한 이미지 노이즈 제거 문제에서, 단순 하위기울기 방법에 비해 더 빠른 수렴성과 더 나은 복원 품질을 보였다.
• 더모어 엔velop은 약한 볼록 함수에 대해 효과적인 스무딩 근사를 제공하며, 기울기 기반 최적화를 가능하게 하면서도 원래 문제의 구조를 유지한다.
• A가 항등 연산자인 경우, 프록시 기반 강하법은 O(ϵ⁻²) 복잡도를 달성한다. 이는 O(ϵ⁻³) 상한이 선형 연산자 조합의 추가적인 복잡성에 기인함을 확인한다.
• 분석 결과, 비판성 및 타당성 측도가 모두 O(k⁻¹/³) 비율로 감소함을 보여, 스무딩 수열 선택에서 균형 잡힌 무게 조정이 이루어졌음을 시사한다.