[논문 리뷰] Finitely convergent algorithm for nonconvex inequality problems

C. H. Jeffrey Pang|arXiv (Cornell University)|2014. 05. 28.

Optimization and Variational Analysis참고 문헌 9인용 수 4

한 줄 요약

이 논문은 힐버트 공간에서 클라크 미분가능성과 지지 반공간을 이용하여 비볼록 부등식 문제(NIP)를 해결하기 위한 유한 수렴 알고리즘을 제시한다. 근처 볼록성과 거리 정규성 조건을 활용함으로써 국소 조건 하에서 유한 수렴을 보장하며, 후쿠시마의 볼록 가능성을 위한 유한 수렴 결과를 비볼록 설정으로 확장하여 국소 수렴 보장을 제공한다.

ABSTRACT

We extend Fukushima's result on the finite convergence of an algorithm for the global convex feasibility problem to the local nonconvex case.

연구 동기 및 목표

• 볼록 부등식 문제에 대한 후쿠시마의 유한 수렴 결과를 비볼록 케이스로 확장하기.
• 목적 함수가 근처 볼록일 때 비볼록 부등식 문제(NIP)에 대한 국소 유한 수렴을 확립하기.
• 특히 클라크 부분미분과 거리 정규성을 포함한 비미분 및 변분해석 도구를 활용하여 수렴성을 분석하기.
• 근처 볼록성과 정규성 가정 하에서 알고리즘이 유한한 단계 내에 종료됨을 증명하기.
• 유한 수렴 보장을 갖는 비볼록 설정으로 대체 투영 방법을 일반화하기.

제안 방법

• 알고리즘은 각 반복 단계에서 클라크 일반화 부분미분의 하향 기울기를 이용해 지지 반공간을 정의한다.
• 각 반복 단계에서 현재 반복점이 다수의 지지 반공간으로 구성된 다면체 집합 위로 투영되어 다음 점이 구해진다.
• 수렴을 이끌기 위해 감소하는 허용 오차 파라미터 $\epsilon_i$의 수열을 도입하여 반복점이 타당 집합 $\{x : f(x) \leq 0\}$에 수렴하도록 유도한다.
• 유한 수렴은 귀류법으로 증명된다: 무한 반복을 가정하면 $\epsilon_i$-하위레벨 집합으로부터의 거리가 선형 감소하지 않는다는 점과 모순된다.
• 분석은 거리 정규성과 근처 볼록성에 기반하며, 투영 단계가 타당 집합으로부터의 거리 감소를 충분히 보장함을 보여준다.
• 핵심 부등식은 반복점과 투영점 사이의 각도를 제한하여, 수열이 해 집합으로 향할 때 거리 감소가 선형 비율로 이루어지도록 보장한다.

실험 결과

연구 질문

• RQ1 더 약한 미분 가능성 가정 하에서 비볼록 부등식 문제에 대해 유한 수렴을 보장할 수 있는가?
• RQ2 목적 함수에 어떤 국소 조건이 성립할 경우 대체 투영 방법이 유한하게 수렴하는가?
• RQ3 근처 볼록성이 하향 기울기 기반 알고리즘의 수렴 행동에 어떤 영향을 미치는가?
• RQ4 변분해석 도구를 이용해 볼록 문제에 대한 유한 수렴 결과를 비볼록 설정으로 확장할 수 있는가?
• RQ5 거리 정규성이 알고리즘의 유한 종료를 보장하는 데 어떤 역할을 하는가?

주요 결과

• 알고리즘은 근처 볼록성과 거리 정규성 조건 하에서 비볼록 부등식 문제(NIP)에 대해 유한 수렴을 달성한다.
• 유한 종료는 귀류법으로 증명된다: 무한 반복을 가정하면 $\epsilon_i$-하위레벨 집합으로부터의 거리 감소 속도가 선형 감소와 모순되며, 기하학적 및 변분해석을 통해 확립된 선형 감소 속도와 모순된다.
• 거리 $d(x_i, S_{\epsilon_i})$는 선형 비율로 감소하며, 이는 $\sqrt{1 - \frac{1}{3}r^2}$로 유계지며, 여기서 $r = 1/(\kappa \sup \|s'\|)$이다.
• 증명은 $x_i$의 다면체 $P_i$로의 투영이 $\|x_{i+1} - p_i\|^2 \leq \|x_i - p_i\|^2 - \frac{1}{3}\|x_{i+1} - x_i\|^2$를 만족함을 보여, 충분한 감소를 보장함을 보여준다.
• 기하학적으로 각도 $\angle p_i \tilde{x}_i^{(j)} x_i > \pi/2$가 확립되어, $p_i$가 스케일된 다면체 $\tilde{P}_i$ 내부에 있음을 보장하며, 이는 수렴에 핵심적이다.
• 결과는 힐버트 공간에서 성립하며, 근처 볼록성과 부분미분 분석을 통해 후쿠시마의 볼록 유한 수렴 결과를 비볼록 케이스로 일반화한다.