[논문 리뷰] On linear and quadratic Lipschitz bounds for twice continuously differentiable functions

Gene A. Bunin, Grégory François외 1명|arXiv (Cornell University)|2014. 06. 16.

Optimization and Variational Analysis참고 문헌 4인용 수 5

한 줄 요약

이 논문은 컴act 집합 위에서 두 번 연속으로 미분 가능한 함수에 대해, 함수와 그 도함수 및 이阶 도함수의 리프시츠 상수를 사용하여 조각별 선형 및 2차 경계를 제시한다. 경계는 테일러 전개와 평균값 정리에 기반하여 유도되며, 국소 리프시츠 상수를 사용할 경우 보다 낮은 보수성으로 두 점 사이의 함수 변동에 대해 계산적으로 실현 가능한 추정을 제공한다.

ABSTRACT

Lower and upper bounds for a given function are important in many mathematical and engineering contexts, where they often serve as a base for both analysis and application. In this short paper, we derive piecewise linear and quadratic bounds that are stated in terms of the Lipschitz constants of the function and the Lipschitz constants of its partial derivatives, and serve to bound the function's evolution over a compact set. While the results follow from basic mathematical principles and are certainly not new, we present them as they are, from our experience, very difficult to find explicitly either in the literature or in most analysis textbooks.

연구 동기 및 목표

• 컴act 집합 위에서 두 번 연속으로 미분 가능한 함수의 변동에 대해 명시적이고 계산 가능한 경계를 제공하는 것.
• 기본 교과서 및 문헌에서 이러한 경계의 접근 가능하고 독립적인 유도가 부족한 문제를 해결하는 것.
• 공 ing 및 분석 분야에서의 적용 가능성을 높이기 위해 조각별 선형 및 2차 경계의 전역 및 국소 버전을 제공하는 것.
• 두 점 사이의 선분에서만 유효한 국소 리프시츠 상수를 활용하여 함수 범위 추정의 보수성을 감소시키는 것.

제안 방법

• 두 점 사이의 선분을 따라 함수의 테일러 급수 전개를 사용하고, 평균값 정리를 적용하여 경계를 유도한다.
• 1차 도함수의 리프시츠 상수 (κ̲i, κ̄i)를 사용하여 f(xb) - f(xa)에 대한 조각별 선형 경계를 구성한다.
• 헤시안의 리프시츠 상수 (M̲ij, M̄ij)를 사용하여 기울기 xa에서의 값과 헤시안 항을 포함하는 조각별 2차 경계를 구성한다.
• xa와 xb 사이의 선분에서만 유효한 국소 리프시츠 상수를 도입하여 전역 경계에 비해 보수성을 낮춘다.
• ℓ1 및 ℓ2 노름을 사용하여 최대 기울기 및 헤시안 크기(κ, M)를 도입함으로써 경계를 단순화한다.
• 기울기 기여도의 가능한 범위에서 최소 및 최대를 취함으로써 상하한 경계를 유도하며, (xb,i - xa,i)의 부호를 고려한다.

실험 결과

연구 질문

• RQ1 함수와 그 도함수의 리프시츠 상수만을 사용하여 C² 함수의 변동에 대해 날카운, 계산 가능한 경계를 어떻게 도출할 수 있는가?
• RQ2 도함수의 리프시츠 상수만 알려져 있을 때 f(xb) - f(xa)에 대한 조각별 선형 및 2차 경계의 구조는 어떻게 되는가?
• RQ3 xa와 xb 사이의 선분에서만 유효한 국소 리프시츠 상수를 사용할 경우 전역 경계에 비해 보수성이 어떻게 감소하는가?
• RQ4 유도된 경계는 고차수 또는 기타 대체 기법에 비해 날카움과 계산 비용 측면에서 어떻게 비교되는가?

주요 결과

• 논문은 κ̲i와 κ̄i의 최소 및 최대값을 (xb,i - xa,i)에 스케일링하여 xa, xb ∈ X인 임의의 점에 대해 f(xb) - f(xa)에 대한 조각별 선형 경계를 유도한다.
• 헤시안 항을 포함함으로써 2차 경계를 도출하였으며, M̲ij와 M̄ij의 최소 및 최대값을 (xb,i - xa,i)(xb,j - xa,j)에 스케일링하여 날카운 정도를 향상시켰다.
• 선분 Xa,b에서 정의된 국소 리프시츠 상수(κ̲i^{a,b}, M̲ij^{a,b})는 전역 상수보다 보수성이 낮은 경계를 제공한다.
• ℓ1 및 ℓ2 노름을 사용한 단순화된 경계는 다음과 같다: f(xb) - f(xa) ∈ [−κ‖xb − xa‖₁, κ‖xb − xa‖₁] 및 [∇f(xa)ᵀ(xb − xa) − ½M‖xb − xa‖₂², ∇f(xa)ᵀ(xb − xa) + ½M‖xb − xa‖₂²].
• xa ≠ xb일 경우 평균값 정리 적용 시 엄밀한 부등식이 성립하므로 모든 경계는 엄밀한 부등식이다.
• 결과는 일반적이며 최적화, 제어 및 분석 분야에 적용 가능하며, 특히 도함수의 상한이 사전에 알려져 있을 경우에 유용하다.