[논문 리뷰] Relax-and-split method for nonsmooth nonconvex problems

Peng Zheng, Aleksandr Y. Aravkin|arXiv (Cornell University)|2018. 02. 07.

Advanced Optimization Algorithms Research참고 문헌 45인용 수 8

한 줄 요약

이 논문은 선형 사상과 분리 가능한 비볼록 함수를 포함하는 비스무스, 비볼록 복합 최적화 문제를 해결하기 위한 새로운 릴랙스-스플릿(RS) 방법을 제안한다. 보조 변수를 도입하고 원래 문제를 릴랙스함으로써 부분 최소화를 적용함으로써, 약한 볼록성 조건이 없더라도 빠른 반복적 방법을 통해 효율적인 해를 도출할 수 있으며, 이는 외곽치 탐지에 대한 트리밍된 형태로 자연스럽게 확장되어 수렴 보장과 경쟁 가능한 성능을 제공한다.

ABSTRACT

We develop and analyze a new `relax-and-split' (RS) approach for compositions of separable nonconvex nonsmooth functions with linear maps. RS uses a relaxation technique together with partial minimization, and brings classic techniques including direct factorization, matrix decompositions, and fast iterative methods to bear on nonsmooth nonconvex problems. We also extend the approach to trimmed nonconvex-composite formulations; the resulting Trimmed RS (TRS) can fit models while detecting outliers in the data. We then test RS and TRS on a diverse set of applications: (1) phase retrieval, (2) stochastic shortest path problems, (3) semi-supervised classification, and (4) new clustering approaches. RS/TRS can be applied to models with very weak functional assumptions, are easy to implement, competitive with existing methods, and enable a new level of modeling formulations to be put forward to address emerging challenges in the mathematical sciences.

연구 동기 및 목표

• 기존의 하향법이나 프록시멀 방법이 적용되지 않는 비스무스 비볼록 최적화 문제를 해결하는 데 도전하는 것, 특히 볼록성 또는 미분 가능성 부족으로 인해 표준 방법이 실패할 경우에 대비한다.
• 복잡한 비볼록 항을 선형 사상에서 분리하기 위해 릴랙스와 부분 최소화를 활용하는 탄력적인 프레임워크를 개발함으로써 효율적인 알고리즘 처리를 가능하게 한다.
• 데이터의 외곽치를 탐지하고 가중치를 낮추는 트리밍된 형태로 접근법을 확장하여 실세계 응용에서의 강건성을 향상시킨다.
• 약한 볼록성 조건이 필요 없는 비볼록 비스무스 함수를 지원함으로써, 데이터 과학 분야의 새로운 문제에 대한 모델링 능력을 강화한다.
• 단계 회복, 준감독 학습, 확률적 최단 경로, 비볼록 융합 페널티를 동반한 군집화 등 다양한 응용 분야에서 방법의 효과성을 입증한다.

제안 방법

• 보조 변수 $ w $ 를 도입하여 비볼록 복합 문제의 릴랙스된 형태를 제안함으로써, $ \text{min}_x h(Ax) + g(x) $ 를 $ \text{min}_{x,w} h(w) + \frac{1}{2\nu}\|Ax - w\|^2 + g(x) $ 로 변환하여 선형 사상과 비볼록 함수를 분리한다.
• 변수 $ x $ 와 $ w $ 에 대해 부분 최소화를 적용하여 교대 최소화 방식을 도출함으로써, 각 하위문제가 프록시멀 연산자 또는 최소 제곱 해법으로 간소화되어 빠르고 확장 가능한 업데이트를 가능하게 한다.
• 외곽치에 대한 강건성을 확보하기 위해 이진 가중치 $ v_i $ 를 도입하고, $ m - \tau $ 개의 가장 큰 잔차를 억제하는 트리밍 확장(TRS)을 제안하며, 캡처된 단체 조건 $ v \in \triangle_\tau $ 를 사용한다.
• 다양한 응용 분야를 표준형 $ f(x) = h(Ax) + g(x) $ 로 매핑함으로써 RS 프레임워크를 적용하며, 여기서 $ h $ 는 비볼록 비스무스이고 $ g $ 는 볼록이거나 0이다.
• SVD, 행렬 분해, 반복적 해법과 같은 고전적인 수치 도구를 릴랙스된 하위문제에 적용하여 기존 소프트웨어와의 호환성을 확보하고 실용성과 구현 가능성을 높인다.
• 릴랙스 구조와 부분 최소화를 활용함으로써, $ h $ 가 약한 볼록성 조건을 만족하지 않더라도 미약한 가정 하에 RS 알고리즘의 수렴 보장을 확보한다.

실험 결과

연구 질문

• RQ1 기존의 하향법이나 프록시멀 방법의 적용 범위를 벗어나는 비스무스 비볼록 복합 문제를 해결하기 위해 릴랙스 기반 접근법을 개발할 수 있는가?
• RQ2 릴랙스-스플릿 방법은 어떻게 외곽치에 의한 데이터 오염을 다룰 수 있으며, 트리밍이 수렴성과 해의 품질에 어떤 영향을 미치는가?
• RQ3 비볼록 정규화를 사용할 경우, RS 방법은 ADMM과 비교해 수렴 속도와 강건성 면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 RS 프레임워크는 단계 회복, 준감독 분류, 확률적 최단 경로 문제와 같이 최소한의 모델링 가정으로 실세계 문제에 적용될 수 있는가?
• RQ5 비볼록 융합 페널티(예: SCAD 유사)를 군집화에 사용할 경우의 이점은 무엇이며, 이는 군집 간 분리도와 튜닝 민감도에 어떤 영향을 미치는가?

주요 결과

• 릴랙스-스플릿(RS) 방법은 약한 볼록성 조건을 만족하지 않는 비볼록 비스무스 문제에 대해서도 수렴을 보장하며, 기존 하향법 기반 방법의 적용 범위를 초월한다.
• 군집화에서 비볼록 SCAD 유사 융합 페널티를 사용할 경우 RS 알고리즘이 ADMM보다 수렴 속도가 더 빠르며, 비볼록 케이스에서는 국소 군집화 행동이 향상되고 전역 매개변수 튜닝에 대한 민감도가 감소한다.
• 외곽치가 포함된 단계 회복 문제에서 트리밍된 RS(TRS) 형태는 외곽치를 성공적으로 탐지하고 가중치를 낮춰 정확도를 유지하면서도 강건성을 향상시킨다.
• 준감독 분류 문제에서는 RS 접근법이 비정상적인 환경에서 표준 로지스틱 회귀보다 뛰어난 성능을 보이며, 미분류 데이터 포인트에 대해 큰 마진을 유도함으로써 미분류 데이터를 효과적으로 활용한다.
• 확률적 최단 경로 문제에서는 RS 방법이 조각별 선형 정규화를 사용하여 비볼록 벨먼 방정식을 효율적으로 해결함으로써 최적 정책 계산이 가능하다.
• 비볼록 융합 페널티를 허용함으로써 군집화에서 새로운 모델링 유연성을 제공하며, 이는 전역 군집 붕괴를 방지하고 더 해석 가능하고 국소적인 군집 구조를 가능하게 한다.