[논문 리뷰] On the Finite Number of Directional Stationary Values of Piecewise Programs

Ying Cui, Jong‐Shi Pang|arXiv (Cornell University)|2018. 03. 01.

Optimization and Variational Analysis참고 문헌 27인용 수 7

한 줄 요약

이 논문은 최소 제곱 조각별 애프라인 회귀 문제를 포함한 특정 비볼록 조각별 이차 프로그래밍 문제에서 방향 정류값이 유한 개임을 입증한다. 목적 함수의 조각별 선형-이차 구조와 하위미분 분석을 활용하여, 저자들은 모든 방향 정류점이 국소 최소화임을 증명하며, 이는 비단조화적인 내림내림 알고리즘에서도 목적 함수 값의 순차적 수렴을 보장한다.

ABSTRACT

Extending a fundamental result for (indefinite) quadratic programs, this paper shows that certain non-convex piecewise programs have only a finite number of directional stationary values, and thus, possess only finitely many locally minimum values. We present various special cases of our main results, in particular, an application to a least-squares piecewise affine regression problem for which every directional stationary point is locally minimizing.

연구 동기 및 목표

• 선형 제약 조건이 있는 조각별 이차 프로그래밍 문제에서 방향 정류값이 유한한지 여부를 해결하기 위해.
• 비볼록, 비미분 가능 조각별 프로그래밍의 더 넓은 범주로 고전적인 Luo-Tseng 결과를 확장하기 위해.
• 특히 최소 제곱 조각별 애프라인 회귀에서 방향 정류점이 국소 최소화임을 보장하는 조건을 설정하기 위해.
• 비볼록 조각별 프로그래밍에 대한 반복 알고리즘에서 목적 함수 값의 순차적 수렴에 대한 이론적 기초를 마련하기 위해.
• 일반적인 조각별 프로그래밍에서 방향 정류값의 유한성에 대한 부분적 해결을 제공하며, 완전한 해결은 추측으로 남긴다.

제안 방법

• 목적 함수의 조각별 이차(PQ) 함수를 최대값의 차수 표현으로 분석: ψ(x) = max_i (a_i^T x + α_i) - max_j (b_j^T x + β_j).
• 정규 하위미분 b∂ψ(¯x)와 정규근원 조건을 활용한 방향 하위미분 분석을 통해 d-정류성(d-stationarity)을 정의한다.
• 최소 제곱 조각별 애프라인 회귀에서 목적 함수의 조각별 선형-이차(PLQ) 성질을 활용하여 방향 정류값의 유한성을 입증한다.
• 스토하스틱 프로그래밍의 결과, 특히 완전 복구 가정과 복구 행렬의 공백성(copositivity)을 적용하여, 두 단계 스토하스틱 이차 프로그래밍에서 방향 정류값의 유한성을 증명한다.
• 반복 알고리즘에서 국소 최소해로 수렴을 보장하기 위해, 반정규 스무드 뉴턴 방법을 활용한 볼록 최대화-최소화 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 선형 제약 조건이 있는 조각별 이차 프로그래밍 문제에서 방향 정류값이 오직 유한 개일까?
• RQ2 어떤 조건에서 조각별 프로그래밍의 모든 방향 정류점이 국소 최소화점이 되는가?
• RQ3 비볼록 복구를 가진 두 단계 스토하스틱 이차 프로그래밍에서 방향 정류값의 수가 보장될 수 있는가?
• RQ4 조각별 애프라인 회귀의 구조는 방향 정류값의 유한성과 반복 알고리즘에서 목적 함수 값의 순차적 수렴을 이끌어낼 수 있는가?
• RQ5 조각별 선형-이차 함수의 합과 복합에 대해 방향 정류값의 유한성 성질이 유지되는가?

주요 결과

• 다각형 타당 영역을 가진 조각별 이차 프로그래밍의 방향 정류값 집합은 유한하며, 이는 Luo-Tseng 결과를 이차 프로그래밍에서 조각별 이차 프로그래밍으로 확장한 것이다.
• 최소 제곱 조각별 애프라인 회귀에서 모든 방향 정류점은 국소 최소화점이며, 이는 반복 알고리즘이 국소 최적해로 수렴함을 보장한다.
• 최소 제곱 조각별 애프라인 회귀 문제의 목적 함수는 조각별 선형-이차이며, 이는 방향 정류값의 유한성을 보장한다.
• 완전 복구와 공백성 복구 행렬을 가진 두 단계 스토하스틱 이차 프로그래밍에서는 방향 정류값 집합이 유한하다.
• 조각별 프로그래밍에 대한 최대화-최소화 알고리즘에서 목적 함수 값의 수렴은 방향 정류값의 유한성 덕분에 보장되며, 이는 목적 함수 값 수열이 단조가 아닐 경우에도 성립한다.