[논문 리뷰] Complexity aspects of local minima and related notions

Amir Ali Ahmadi, Jeffrey Zhang|arXiv (Cornell University)|2020. 08. 14.

Polynomial and algebraic computation참고 문헌 26인용 수 4

한 줄 요약

이 논문은 다변수 다항식, 특히 삼차 다항식에서 임계점, 2차 점, 국소 최솟값, 엄밀한 국소 최솟값을 식별하는 계산 복잡도를 조사한다. 삼차 다항식의 국소 최솟값이 되는 조건을 효율적으로 검증할 수 있는 조건을 제시하고, 삼차 다항식의 국소 최솟값을 변수 수에 대해 선형 크기의 정수형 프로그래밍(SDP)을 통해 찾을 수 있음을 보여준다. 또한 삼차 다항식에서 임계점의 존재를 결정하는 것은 강한 NP-난이도임을 증명한다.

ABSTRACT

We consider the notions of (i) critical points, (ii) second-order points, (iii) local minima, and (iv) strict local minima for multivariate polynomials. For each type of point, and as a function of the degree of the polynomial, we study the complexity of deciding (1) if a given point is of that type, and (2) if a polynomial has a point of that type. Our results characterize the complexity of these two questions for all degrees left open by prior literature. Our main contributions reveal that many of these questions turn out to be tractable for cubic polynomials. In particular, we present an efficiently-checkable necessary and sufficient condition for local minimality of a point for a cubic polynomial. We also show that a local minimum of a cubic polynomial can be efficiently found by solving semidefinite programs of size linear in the number of variables. By contrast, we show that it is strongly NP-hard to decide if a cubic polynomial has a critical point. We also prove that the set of second-order points of any cubic polynomial is a spectrahedron, and conversely that any spectrahedron is the projection of the set of second-order points of a cubic polynomial. In our final section, we briefly present a potential application of finding local minima of cubic polynomials to the design of a third-order Newton method.

연구 동기 및 목표

• 다항식의 주어진 점이 임계점, 2차 점, 국소 최솟값, 엄밀한 국소 최솟값인지 여부를 판단하는 계산 복잡도를 규명하는 것.
• 다항식이 특정 유형의 점(예: 국소 최솟값)을 포함하는지 여부를 결정하는 문제의 복잡도를 연구하는 것.
• 일반적인 난이도에도 불구하고 효율적인 알고리즘이 가능한 경우, 특히 삼차 다항식에 대해 다루는 것.
• 제3차 뉴턴 방법 설계와 같은 알고리즘적 응용을 탐색하는 것, 특히 삼차 근사의 국소 최솟값을 이용하는 것.
• 다항식 최적화와 스펙트라헤드론 간의 연결 고리를 설정하는 것, 삼차 다항식의 2차 점이 스펙트라헤드론임을 보이고 반대로 모든 스펙트라헤드론이 이러한 집합의 사영으로 나타남을 보여주는 것.

제안 방법

• 입력 크기를 유리수 계수와 점 좌표의 비트 길이로 측정하는 튜링 계산 모델을 사용한다.
• 삼차 다항식의 국소 최솟값을 효율적으로 찾기 위해 정수형 프로그래밍(SDP)을 적용하며, SDP 크기가 변수 수에 대해 선형임을 보인다.
• 삼차 다항식의 점이 국소 최솟값이 되는 데 필요한 필수 및 충분 조건을 효율적으로 검증할 수 있도록 개발한다.
• 모든 삼차 다항식의 2차 점 집합이 스펙트라헤드론임을 증명하고, 반대로 모든 스펙트라헤드론이 이러한 집합의 사영으로 나타남을 보인다.
• 함수의 제3차 테일러 근사식을 분석하여, 삼차 근사의 국소 최솟값으로 이동하는 잠재적인 제3차 뉴턴 방법을 설계한다.
• 수치 실험과 비교(예: 고전적 뉴턴 방법과의 비교)를 통해 제안된 제3차 방법이 수렴 성능에서 우수함을 보여준다.

실험 결과

연구 질문

• RQ1 주어진 점이 다변수 다항식의 국소 최솟값인지 확인하는 데 필요한 계산 복잡도는 무엇인가?
• RQ2 다항식에 국소 최솟값이 존재하는지 여부를 효율적으로 결정할 수 있는가? 만약 가능하면 어떤 차수에 대해 가능한가?
• RQ3 삼차 다항식에 대해 국소 최솟값의 성질을 다룰 수 있는 다루기 쉬운 특성화가 존재하는가?
• RQ4 삼차 다항식이 임계점을 포함하는지 여부를 결정하는 데 필요한 복잡도는 무엇인가?
• RQ5 삼차 다항식의 국소 최솟값을 선형 프로그래밍 기법, 특히 정수형 프로그래밍(SDP)을 통해 효율적으로 계산할 수 있는가?

주요 결과

• 삼차 다항식의 경우, 점이 국소 최솟값이 되는 데 필요한 필수 및 충분 조건을 효율적으로 검증할 수 있다.
• 삼차 다항식의 국소 최솟값은 변수 수에 대해 선형 크기의 정수형 프로그래밍(SDP)을 풀어 찾을 수 있다.
• 삼차 다항식이 임계점을 포함하는지 여부를 결정하는 것은 강한 NP-난이도이다.
• 모든 삼차 다항식의 2차 점 집합은 스펙트라헤드론이며, 반대로 모든 스펙트라헤드론은 이러한 집합의 사영으로 나타난다.
• 수치 실험 결과, 제3차 테일러 근사의 국소 최솟값으로 이동하는 제3차 뉴턴 방법은 고전적 뉴턴 방법보다 전역 수렴성과 初기 조건에 대한 민감도가 낮음을 보였다.
• 일변수 테스트 케이스에서 제3차 방법은 최솟값으로 전역 수렴하였고, 고전적 뉴턴 방법은 유계 구간 외부의 초기 조건에서는 진동을 보였다.