[논문 리뷰] Local Minimizers and Second-Order Conditions in Composite Piecewise Programming via Directional Derivatives

Tsung‐Hui Chang, Mingyi Hong외 1명|arXiv (Cornell University)|2017. 09. 18.

Multi-Criteria Decision Making참고 문헌 19인용 수 5

한 줄 요약

이 논문은 비볼록, 비미분 가능 복합 조각별 프로그래밍 문제에서 국소 최소점의 특성을 기준으로 두 번째 순서 방향 도함수 조건을 제안한다. 특정 일반화된 볼록성 조건 하에서 일阶 방향 정류성은 국소 최적성에 충분함을 입증하고, 목적이 두 번째로 방향으로 미분 가능할 경우 강한 두 번째 순서 정류성이 국소 최소점의 완전한 특징을 이룹니다. 특히 $\varepsilon_1$-정규화 문제에서는 슈어 여인버스 양성 검사를 통해 이를 확인할 수 있습니다.

ABSTRACT

Based on elementary one-sided (first-order) directional derivatives and their extensions to second order, we introduce several local properties of non-convex, non-differentiable functions at a given point, and discuss their realizations in piecewise affine statistical estimation problems, with or without sparsity control. These properties provide sufficient conditions under which the following local optimality questions can be positively answered for a constrained optimization problem with first-order, and respectively, second-order directionally differentiable objective functions. When is first-order directional stationarity necessary and sufficient for local minimizing? When is weak second-order directional stationarity necessary and sufficient for local minimizing? We also show that for a twice directionally differentiable objective, the strongly locally minimizing property of a first-order directional stationary solution can be characterized in terms of a strong second-order directional stationarity condition. The introduced properties are of a local pointwise convexity and generalized convexity type, they are shown to be invariant under composition with piecewise affine functions. For a special class of unconstrained problems with a smooth objective function plus the non-differentiable $\ell_1$-function, we show that the task of verifying the second-order directional stationarity condition can be converted to the problem of checking the copositivity of certain Schur complement on the nonnegative

연구 동기 및 목표

• 방향 도함수를 활용하여 비볼록, 비미분 가능 최적화 문제에서 국소 최적성의 충분 조건을 개발한다.
• 일阶 방향 정류성이 국소 최소점에 대해 필요하고 충분한 조건이 되는 경우를 명확히 한다.
• 두 번째로 방향으로 미분 가능한 설정에서 강한 국소 최소점의 특징을 두 번째 순서 방향 정류성을 통해 기술한다.
• 조각별 애파인 함수와의 복합에 대해 국소 볼록성 유형의 성질이 어떻게 유지되는지 밝힌다.
• $\mu_1$-정규화 문제에서 두 번째 순서 정류성의 검증을 비음성 영역에서 슈어 여인버스의 양성 검사로 단순화한다.

제안 방법

• 한 방향의 일阶 방향 도함수와 그 두 번째 순서 확장체를 사용하여 국소 최적성 조건을 정의한다.
• 조각별 애파인 함수와의 복합에 대해 불변인 국지적 일반화된 볼록성 및 볼록성 유형 성질을 도입한다.
• 일阶 및 두 번째 순서로 방향으로 미분 가능한 목적이 있는 제약 최적화 문제에 이 이론을 적용한다.
• 두 번째로 방향으로 미분 가능한 목적으로서 강한 국소 최소점의 특징을 강한 두 번째 순서 방향 정류성으로 유도한다.
• Hessian 유사 행렬의 슈어 여인버스에 대한 양성 검사를 통해 $\mu_1$-정규화 문제에서 두 번째 순서 정류성의 검증을 변환한다.
• 구조적 성질을 활용하여 부드러운 함수에 $\mu_1$-노름 펜alties를 더한 비제약 문제에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 비볼록, 비미분 가능 최적화 문제에서 일阶 방향 정류성이 국소 최소점이 되기 위해 필요한 조건은 무엇인가?
• RQ2 복합 조각별 프로그래밍에서 약한 두 번째 순서 방향 정류성이 국소 최적성으로 이어지는 조건은 무엇인가?
• RQ3 두 번째로 방향으로 미분 가능한 문제에서 강한 국소 최소점은 어떻게 두 번째 순서 방향 정류성을 통해 특징지을 수 있는가?
• RQ4 방향 미분 가능성을 고려할 때 일반화된 볼록성 유형 성질이 국소 최적성 보장에 미치는 역할은 무엇인가?
• RQ5 $\mu_1$-정규화 문제에서 두 번째 순서 정류성 조건은 계산적으로 실현 가능한 양성 검사로 단순화될 수 있는가?

주요 결과

• 목적이 방향 도함수로부터 유도된 특정 일반화된 볼록성 유형 성질을 만족할 경우, 일阶 방향 정류성은 국소 최소성에 충분하다.
• 두 번째로 방향으로 미분 가능한 목적으로서 강한 두 번째 순서 방향 정류성은 강한 국소 최소점의 완전한 특징을 이룹니다.
• 제안된 국소 볼록성 유형 성질은 조각별 애파인 함수와의 복합에 대해 불변이며, 최적성 관련성을 유지한다.
• $\mu_1$-정규화 문제에서는 두 번째 순서 정류성의 검증이 비음성 영역에서 슈어 여인버스의 양성 검사로 단순화된다.
• 이 프레임워크는 볼록성이나 미분 가능성 조건 없이도 복합 조각별 프로그래밍에서 국소 최적성의 완전한 특징을 제공한다.
• 결과적으로 이론은 통계 추정에서 흩어진 성질 제어가 필요한 비미분, 비볼록 설정으로의 두 번째 순서 최적성 조건 적용 범위를 확장한다.