[논문 리뷰] Certification of Real Inequalities -- Templates and Sums of Squares

Xavier Allamigeon, Stéphane Gaubert외 2명|arXiv (Cornell University)|2014. 03. 24.

Advanced Optimization Algorithms Research참고 문헌 1인용 수 5

한 줄 요약

이 논문은 최대값 플러스 근사와 비선형 템플릿, 희소 제곱합 이완을 조합하여 실수 계수 다변수 초월 함수의 인증된 전역 최적화 방법을 제안한다. 이 방법은 근사의粗雑함과 계산의 타당성 사이의 균형을 통해 중규모 문제에서 간격 산술과 표준 다항식 해법보다 뛰어난 성능을 보이며, 비슷한 정도의 비선형 부등식—예를 들어 Flyspeck 프로젝트에서의 것들—에 대해 확장 가능하고 정밀한 인증을 가능하게 한다.

ABSTRACT

We consider the problem of certifying lower bounds for real-valued multivariate transcendental functions. The functions we are dealing with are nonlinear and involve semialgebraic operations as well as some transcendental functions like $\cos$, $\arctan$, $\exp$, etc. Our general framework is to use different approximation methods to relax the original problem into polynomial optimization problems, which we solve by sparse sums of squares relaxations. In particular, we combine the ideas of the maxplus estimators (originally introduced in optimal control) and of the linear templates (originally introduced in static analysis by abstract interpretation). The nonlinear templates control the complexity of the semialgebraic relaxations at the price of coarsening the maxplus approximations. In that way, we arrive at a new - template based - certified global optimization method, which exploits both the precision of sums of squares relaxations and the scalability of abstraction methods. We analyze the performance of the method on problems from the global optimization literature, as well as medium-size inequalities issued from the Flyspeck project.

연구 동기 및 목표

• 다양한 대수적 및 초월 연산을 포함하는 다변수 초월 함수의 하한을 검증할 수 있는 확장 가능하고 인증 가능한 방법을 개발하는 것.
• 중간 차원에서 상호 연관된 밀도 있는 부등식을 다룰 때 간격 산술과 고차수 다항식 근사의 한계를 해결하는 것.
• 최대값 플러스 근사와 선형 템플릿을 하이브리드 프레임워크에 통합하여 다항식 최적화 문제에서의 레이징 변수와 다항식 제약 조건을 줄이는 것.
• Coq와 같은 증명 보조 도구에서 기계로 검증 가능한 제곱합 증명을 생성함으로써 수치적 인증서의 형식적 검증을 가능하게 하는 것.
• 특히 상호 연관된 아 tangent 항과 밀도 있는 하한을 포함하는 문제들에서 Flyspeck 프로젝트 및 문헌에서 제기된 도전적인 전역 최적화 문제의 성능을 향상시키는 것.

제안 방법

• 비선형 템플릿을 사용하여 복잡한 초월 함수를 조각별 대수적 근사로 추상화함으로써 후속 다항식 최적화의 복잡도를 감소시킨다.
• 최대값 플러스 근사를 활용해 원래 함수의 거친 그러나 정밀한 하한을 구성하고, 이후 템플릿 기반 추상화로 정밀도를 향상시킨다.
• 결과적으로 유도된 다항식 최적화 문제는 희소 제곱합(SOS) 이완을 통해 해결되며, 이는 반세미정적 프로그래밍을 통한 인증 가능한 하한을 가능하게 한다.
• 반세미정적 프로그래밍에서 레이징 변수의 수를 최소화하기 위해 `reduce_lift` 라는 기법을 도입하여, 제곱근을 포함한 비율과 같은 대수적 함수 근사에서의 효율성을 높인다.
• exp, log, 삼각함수, 거듭제곱 함수 등을 포함하는 사전에 정의된 함수들과의 조합을 지원하며, 유계 헤시안을 가진 준볼록/준오목 함수로도 확장된다.
• 이 방법은 Coq와 같은 증명 보조 도구에서 검증 가능한 형식적 인증서를 생성하는 도구체인으로 구현되어 있으며, 종단 간 신뢰성을 확보한다.

실험 결과

연구 질문

• RQ1 최대값 플러스 근사와 비선형 템플릿을 조합한 하이브리드 방법이 초월 함수의 전역 하한을 인증하는 데 있어 확장성과 정밀도를 동시에 달성할 수 있는가?
• RQ2 중규모 문제에서 템플릿 기반 추상화가 간격 산술과 고차수 다항식 근사에 비해 하한 품질과 계산 비용 측면에서 어떻게 비교되는가?
• RQ3 제곱합 이완에서 하한 품질을 손상시키지 않고 레이징 변수 수와 다항식 제약 조건을 얼마나 줄일 수 있는가?
• RQ4 이 프레임워크는 Flyspeck 프로젝트에서 발견되는 아 tangent 및 제곱근 함수를 포함한 밀도 있는 상호 연관 부등식을 효과적으로 다룰 수 있는가?
• RQ5 최종적으로 도출된 수치적 인증서는 Coq와 같은 증명 보조 도구에서 형식적으로 검증 가능한가?

주요 결과

• 템플릿 기반 방법은 Flyspeck 부등식에서 간격 산술을 능가한다: 예를 들어, 부등식 9922699028에 대해 이 방법은 하한 0을 인증하는 데 성공했고, 간격 산술은 뿐만 아니라 -0.87에 그친다.
• 부등식 9922699028에 대해 3개의 레이징 변수와 4개의 제곱근 근사 사용 시, 이 방법은 241초 내에 인증된 하한을 계산했으며, 1개의 레이징 변수를 사용하는 더 거친 근사보다 1080초가 소요되는 것보다 훨씬 빠르다.
• 다항식의 arctan을 포함한 임의의 테스트 문제에서, 4차 SOS 이완과 3개의 템플릿 노드를 사용한 이 방법은 n=3일 때 3.8초 내에 하한을 도출했고, MATLAB 도구상자 intsolver를 사용한 경우는 15.5초가 소요되었다.
• 6변수 문제(OXLZLEZ6346351218_2_0)에 대해 이 방법은 24개의 박스와 3개의 템플릿 노드를 사용해 20,520초 내에 인증된 하한을 계산했고, 동일한 문제에 대해 intsolver 도구는 12,000초 이상 소요되었다.
• `reduce_lift` 변형은 한 경우에서 레이징 변수 수를 2개 줄이는 데 성공하여, 다항식 템플릿을 체계적으로 생성하는 방법을 제시했지만, 고차수 SOS 이완에서는 계산 비용이 증가하였다.
• 이 방법은 10⁻³ 이하의 하한 값을 가진 문제들에 대해도 밀도 있는 인증을 달성하여, 형식 수학 증명에서 흔히 볼 수 있는 매우 제약이 강한 밀도 있는 부등식에 효과적임을 확인했다.