[論文レビュー] On linear and quadratic Lipschitz bounds for twice continuously differentiable functions

Gene A. Bunin, Grégory François+1 more|arXiv (Cornell University)|Jun 16, 2014

Optimization and Variational Analysis参考文献 4被引用数 5

ひとこと要約

本稿では、コンpact集合上での2回連続微分可能な関数に対して、関数およびその1階微分・2階微分のリプシッツ定数を用いて、区分的線形および2次近似の境界を提示する。境界はテイラー展開および平均値の定理を用いて導出され、局所的なリプシッツ定数を用いることで、保守的でない計算可能な関数変動の推定を可能にする。

ABSTRACT

Lower and upper bounds for a given function are important in many mathematical and engineering contexts, where they often serve as a base for both analysis and application. In this short paper, we derive piecewise linear and quadratic bounds that are stated in terms of the Lipschitz constants of the function and the Lipschitz constants of its partial derivatives, and serve to bound the function's evolution over a compact set. While the results follow from basic mathematical principles and are certainly not new, we present them as they are, from our experience, very difficult to find explicitly either in the literature or in most analysis textbooks.

研究の動機と目的

• コンパクト集合上での2回連続微分可能な関数の変動に対する明示的かつ計算可能な境界を提供すること。
• 標準的な教科書や文献において、このような境界のアクセス可能で自己完結的な導出が不足している問題に対処すること。
• 工学的・解析的応用における適用性を高めるために、区分的線形および2次境界のグローバル版とローカル版を提供すること。
• 2点間の線分上での局所的リプシッツ定数を活用することで、グローバル境界に比べて保守的でない関数範囲推定を実現すること。

提案手法

• 2点間の線分に沿った関数のテイラー級数展開を用い、平均値の定理を適用して境界を導出する。
• 1階微分のリプシッツ境界（κ̲i, κ̄i）を用いて、f(xb) - f(xa) の区分的線形境界を構築する。
• ヘッセ行列のリプシッツ境界（M̲ij, M̄ij）を用いて、xaにおける勾配とヘッセ項を組み合わせた区分的2次境界を構築する。
• xa と xb 間の線分上でのみ有効な局所的リプシッツ定数を導入し、グローバル境界に比べて保守的でない境界を実現する。
• ℓ1およびℓ2ノルムを用いて最大勾配およびヘッセ行列の大きさ（κ, M）を導入し、境界を簡略化する。
• 微分係数の寄与の可能な範囲のminとmaxをとることで、(xb,i - xa,i) の符号を考慮した下界および上界を導出する。

実験結果

リサーチクエスチョン

• RQ1 関数およびその導関数のリプシッツ定数のみを用いて、C²関数の変動に対するタイトで計算可能な境界をどのように導出できるか？
• RQ2 導関数のリプシッツ境界が既知であるとき、f(xb) - f(xa) の区分的線形および2次境界の構造はどのようになるか？
• RQ3 xa と xb 間の線分上でのみ有効な局所的リプシッツ定数を用いることで、グローバル境界に比べて保守的でなくなるメカニズムは何か？
• RQ4 高次または代替の境界手法と比較して、導出された境界はタイトさと計算コストの点でどのように異なるか？

主な発見

• 本稿では、κ̲i と κ̄i のminとmaxを (xb,i - xa,i) でスケーリングした境界を用いて、任意の xa, xb ∈ X に対して f(xb) - f(xa) の区分的線形境界を導出する。
• ヘッセ行列項を含めることで2次境界を導出し、M̲ij と M̄ij のminとmaxを (xb,i - xa,i)(xb,j - xa,j) でスケーリングすることで、タイトさが向上する。
• 線分 Xa,b 上でのみ定義される局所的リプシッツ定数（κ̲i^{a,b}, M̲ij^{a,b}）は、グローバル定数に比べて保守的でない境界をもたらす。
• ℓ1およびℓ2ノルムを用いた簡略化された境界は、f(xb) - f(xa) ∈ [−κ‖xb − xa‖₁, κ‖xb − xa‖₁] および [∇f(xa)ᵀ(xb − xa) − ½M‖xb − xa‖₂², ∇f(xa)ᵀ(xb − xa) + ½M‖xb − xa‖₂²] として導出される。
• すべての境界は、xa ≠ xb のとき厳密な不等式となる。これは平均値の定理の適用における厳密性に起因する。
• 結果は一般性を有し、最適化、制御、解析分野への応用に適しており、とくに導関数の境界が事前に分かっている場合に有効である。