[논문 리뷰] Non-smooth Variable Projection

Tristan van Leeuwen, Aleksandr Y. Aravkin|arXiv (Cornell University)|2016. 01. 19.

3D Shape Modeling and Analysis참고 문헌 51인용 수 8

한 줄 요약

이 논문은 비스무스 최적화 문제에 변수 투영을 확장하기 위해, 한 변수 그룹에 대해 최소화하면서 비스무스 정규화 항과 근사한 부분문제 해를 다루는 비정확 적응 알고리즘을 도입한다. 전역 수렴성과 수렴 속도를 확립하고, 기계 학습 및 역문제에 이 프레임워크를 적용한다.

ABSTRACT

Variable projection solves structured optimization problems by completely minimizing over a subset of the variables while iterating over the remaining variables. Over the last 30 years, the technique has been widely used, with empirical and theoretical results demonstrating both greater efficacy and greater stability compared to competing approaches. Classic examples have exploited closed-form projections and smoothness of the objective function. We extend the approach to problems that include non-smooth terms, and where the projection subproblems can only be solved inexactly by iterative methods. We propose an inexact adaptive algonrithm for solving such problems and analyze its computational complexity. Finally, we show how the theory can be used to design methods for selected problems occurring frequently in machine-learning and inverse problems.

연구 동기 및 목표

• 비스무스이자 비볼록 최적화 문제에 대한 변수 투영 방법의 격차를 메우며, 부분문제 해가 근사적인 경우를 다룬다.
• 비스무스 항이 포함된 구조적 최적화 문제에 대해 전역 수렴하는 비정확 적응 알고리즘을 개발한다.
• y-부분문제에서의 비정확성 하에서 계산 복잡도와 수렴 속도를 분석한다.
• 제안된 프레임워크를 사용하여 기계 학습 및 역문제에서 흔히 발생하는 문제에 실용적인 방법을 설계한다.
• 비정확 투영이 존재하는 상황에서 수렴성과 수렴 속도에 대한 이론적 보장을 수립한다.

제안 방법

• f(x,y) + r₁(x) + r₂(y)를 최소화하기 위한 비정확 적응 프록시멀 기울기 방법을 제안하며, f는 스무스하지만 r₁, r₂는 비스무스일 수 있다.
• 변수 투영을 사용하여 $ \bar{y}(x) = \arg\min_y f(x,y) + r_2(y) $로 정의하고, 문제를 $ \bar{f}(x) = f(x, \bar{y}(x)) + r_1(x) $로 단순화한다.
• y-부분문제의 근사해를 처리하기 위해 프록시멀 기울기 업데이트에 오차 항 e_k를 도입하여, 유한한 오차 하에서도 내림내림이 보장되도록 한다.
• 리아푸노프 유사 분석을 통해 수렴성을 확립하며, $ \|e_k\| \leq C \|x_{k+1} - x_k\| $ 및 $ C < L/2 $ 라는 조건 하에 $ \min_k \|x_{k+1} - x_k\| \leq A \sqrt{ \frac{F(x_0) - F(x_*)}{n} } $, $ A = \sqrt{ \frac{2}{L - 2C} } $ 라는 수렴 속도를 도출한다.
• 프록시멀 기울기 매핑 $ G(x) = \alpha^{-1}(x - \text{prox}_{\alpha g}(x - \alpha \nabla f(x))) $ 기반의 정지 기준을 도입하며, $ \|T(x) - \bar{x}\| \leq \frac{1 + \alpha L}{\mu} \|G(x)\| $ 를 통해 부적합도 상한을 보장한다.
• Hessian의 슈어 여부를 활용하여 $ \bar{f}(x) $의 감쇠 조건이 향상됨을 보이며, 비스무스 정규화 항이 존재하더라도 안정성이 유지됨을 입증한다.

실험 결과

연구 질문

• RQ1 반복적 방법으로 y-부분문제를 근사적으로 해결할 때 비스무스 문제로의 변수 투영을 확장할 수 있는가?
• RQ2 부분문제 해가 근사적인 경우 비정확 변수 투영에 대해 어떤 수렴 보장을 확립할 수 있는가?
• RQ3 y-부분문제의 비정확성이 전체 알고리즘의 전역 수렴성과 수렴 속도에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크는 기계 학습 및 역문제에서 비스무스 정규화를 포함하는 실제 문제에 적용 가능한가?
• RQ5 비정확성 하에서 최적해와의 거리가 보장되는 실용적인 정지 기준은 무엇인가?

주요 결과

• 비정확 적응 변수 투영 알고리즘은 $ \min_k \|x_{k+1} - x_k\| \leq \sqrt{ \frac{2(F(x_0) - F(x_*))}{(L - 2C)n} } $ 의 수렴 속도를 보장하며, 이때 C는 y-부분문제 해의 상대 오차를 제한하는 상수이다.
• 오차 $ \|e_k\| $ 가 스텝 크기와 다음 반복점까지의 거리에 대해 충분히 작을 경우 내림내림이 보장되며, 특히 $ \|e_k\| \leq \min\left( \frac{\gamma}{2\alpha}, \frac{\gamma}{2(\alpha^{-1} - L/2)} \right) $ 를 만족할 때, γ는 정류점이 아닌 점에서 0에서 벗어나도록 제한된다.
• 해당 방법은 $ \bar{y}(x) $ 에 대한 x에 대한 민감도를 계산하지 않아도 되므로, 비스무스 환경에서도 고전적 변수 투영의 효율성을 유지한다.
• 이론적 분석을 통해 감소된 문제 $ \bar{f}(x) $ 가 Hessian의 슈어 여부로부터 유리한 조건 수를 물려받으며, 수치적 안정성이 향상됨을 입증한다.
• 프록시멀 기울기 매핑 $ G(x) $ 를 활용한 실용적인 정지 기준이 유도되었으며, $ \|T(x) - \bar{x}\| \leq \frac{1 + \alpha L}{\mu} \|G(x)\| $ 를 통해 최적해와의 거리가 상한에 둘러싸임을 보장한다.
• 프레임워크는 모델 캘리브레이션, 기계 학습에서의 트리밍, PDE 제약 최적화와 같은 세 가지 동기화 문제에 성공적으로 적용되어 광범위한 적용 가능성을 입증했다.