[논문 리뷰] A Study of Piecewise Linear-Quadratic Programs

Ying Cui, Tsung‐Hui Chang외 2명|arXiv (Cornell University)|2017. 09. 18.

Multi-Criteria Decision Making인용 수 4

한 줄 요약

이 논문은 조각별 선형-이차형(PLQ) 프로그래밍에 대한 종합적인 분석을 제공하며, 강한, 엄격한, 고립된 국소 최소값에 대해 등가의 이차 최적성 조건을 수립한다. 이는 하위해석 함수 성질과 슈어 여인수에 대한 공백성 조건을 통해 이러한 프로그래밍이 유한한 국소 최소값을 가짐을 증명함으로써, 이차 프로그래밍 이론을 PLQ 설정으로 확장한다. 이는 현대 통계 추정에 응용된다.

ABSTRACT

Motivated by a growing list of nontraditional statistical estimation problems of the piecewise kind, this paper provides a survey of known results supplemented with new results for the class of piecewise linear-quadratic programs. These are linearly constrained optimization problems with piecewise linear-quadratic (PLQ) objective functions. Starting from a study of the representation of such a function in terms of a family of elementary functions consisting of squared affine functions, squared plus-composite-affine functions, and affine functions themselves, we summarize some local properties of a PLQ function in terms of their first and second-order directional derivatives. We extend some well-known necessary and sufficient second-order conditions for local optimality of a quadratic program to a PLQ program and provide a dozen such equivalent conditions for strong, strict, and isolated local optimality, showing in particular that a PLQ program has the same characterizations for local minimality as a standard quadratic program. As a consequence of one such condition, we show that the number of strong, strict, or isolated local minima of a PLQ program is finite; this result supplements a recent result about the finite number of directional stationary objective values. Interestingly, these finiteness results can be uncovered by invoking a very powerful property of subanalytic functions; our proof is fairly elementary, however. We discuss applications of PLQ programs in some modern statistical estimation problems. These problems lead to a special class of unconstrained composite programs involving the non-differentiable $\ell_1$-function, for which we show that the task of verifying the second-order stationary condition can be converted to the problem of checking the copositivity of certain Schur complement on the nonnegative orthant.

연구 동기 및 목표

• 이차 프로그래밍에서 이차 최적성 이론을 이차형이 아닌 조각별 선형-이차형(PLQ) 프로그래밍으로 확장하기 위해.
• PLQ 프로그래밍에서 강한, 엄격한, 고립된 국소 최적성에 대해 등가의 필요 및 충분 조건을 수립하기 위해.
• 하위해석 함수 성질을 사용하여 PLQ 프로그래밍에서 강한, 엄격한, 고립된 국소 최소값의 유한성을 증명하기 위해.
• 복합 PLQ 프로그래밍에서 이차 정류성의 확인을 비음수 정사각형에 대한 행렬 공백성 조건으로 연결하기 위해.
• 이론적 결과를 ℓ₁-노름을 포함하는 현대 통계 추정 문제에 적용하기 위해.

제안 방법

• 제곱 선형, 제곱 더하기 복합 선형, 그리고 선형 함수를 이용해 PLQ 함수를 기본 성분으로 표현하기 위해.
• PLQ 함수의 일阶 및 이阶 방향 도함수를 분석하여 국소 최적성 조건을 도출하기 위해.
• 기존의 이차 최적성 조건을 이차 프로그래밍에서 PLQ 프로그래밍으로 적응시켜 12개의 등가 특성화를 도출하기 위해.
• 이차 형식의 고유분해와 슈어 여인수 항등식을 사용하여 최적성 조건을 재구성하기 위해.
• ℓ₁-복합 PLQ 프로그래밍에서 이차 정류성의 확인을 ℝ₊ⁿ에서 특정 슈어 여인수의 공백성 확인으로 감소시키기 위해.
• 하위해석 함수 이론을 적용하여 국소 최소값의 유한성을 증명하고, 간단한 대체 증명을 제시하기 위해.

실험 결과

연구 질문

• RQ1 조각별 선형-이차형 프로그래밍에서 국소 최적성에 대한 필요 및 충분한 이차 조건은 무엇인가?
• RQ2 PLQ 프로그래밍에서 강한, 엄격한, 또는 고립된 국소 최소값의 수는 어떻게 행동하는가—유한한가 아니면 무한한가?
• RQ3 ℓ₁-복합 PLQ 프로그래밍에서 이차 정류성 조건은 행렬 공백성 검사로 감소시킬 수 있는가?
• RQ4 이차 프로그래밍의 최적성 특성화는 PLQ 프로그래밍으로 얼마나 넓게 확장될 수 있는가?
• RQ5 PLQ 함수의 어떤 구조적 성질이 비볼록성에도 불구하고 국소 최소값의 유한성을 가능하게 하는가?

주요 결과

• PLQ 프로그래밍은 표준 이차 프로그래밍과 동일한 이차 특성화를 가지며, 12개의 등가 조건이 수립되었다.
• PLQ 프로그래밍에서 강한, 엄격한, 또는 고립된 국소 최소값의 수는 유한하며, 이는 하위해석 함수 이론과 간단한 대체 증명을 통해 증명되었다.
• 비제약 ℓ₁-복합 PLQ 프로그래밍에서 이차 정류성 조건은 비음수 정사각형에서 특정 슈어 여인수의 공백성 확인으로 감소된다.
• 계수의 범위가 있는 이차 프로그래밍에서 최적값이 0이 되는 데 필요한 및 충분한 조건이 유도되었으며, 이는 부분행렬의 준정부정성과 슈어 여인수의 공백성에 관한 것이다.
• 이 논문은 PLQ 프로그래밍의 방향 정류 목적값이 유한하다는 것을 확인하였으며, 국소 최소값의 유한성과 보완된다.
• 제곱 선형 및 복합 선형 함수를 이용한 PLQ 함수의 표현은 그들의 방향 도함수 및 최적성 조건에 대한 체계적인 분석을 가능하게 한다.