[論文レビュー] Handling Hard Affine SDP Shape Constraints in RKHSs

Pierre-Cyril Aubin-Frankowski, Zoltán Szabó|arXiv (Cornell University)|Jan 5, 2021

Advanced Numerical Analysis Techniques参考文献 80被引用数 5

ひとこと要約

本論文は、ベクトル値再生核ヒルベルト空間（vRKHS）における関数の導関数に対して、硬いアフィン半定値計画（SDP）形状制約（例：単調性、凸性、超モジュラリティ）を強制するために、第二順序コーン（SOC）のタイトニングを用いたモジュラリティのある凸最適化フレームワークを提案する。この手法は、無限個の点ごとの制約を有限で取り扱える最適化問題に変換し、弱い仮定のもとで真の制約付き解への収束を保証する。有効性はロボット工学、制御、計量経済学の分野で実証されている。

ABSTRACT

Shape constraints, such as non-negativity, monotonicity, convexity or supermodularity, play a key role in various applications of machine learning and statistics. However, incorporating this side information into predictive models in a hard way (for example at all points of an interval) for rich function classes is a notoriously challenging problem. We propose a unified and modular convex optimization framework, relying on second-order cone (SOC) tightening, to encode hard affine SDP constraints on function derivatives, for models belonging to vector-valued reproducing kernel Hilbert spaces (vRKHSs). The modular nature of the proposed approach allows to simultaneously handle multiple shape constraints, and to tighten an infinite number of constraints into finitely many. We prove the convergence of the proposed scheme and that of its adaptive variant, leveraging geometric properties of vRKHSs. Due to the covering-based construction of the tightening, the method is particularly well-suited to tasks with small to moderate input dimensions. The efficiency of the approach is illustrated in the context of shape optimization, safety-critical control, robotics and econometrics.

研究の動機と目的

• 再生核ヒルベルト空間（vRKHS）などの豊かな関数クラスにおいて、関数の導関数に対して硬い点ごとの形状制約（例：単調性、凸性）を強制する課題に対処すること。
• 連続領域における無限個の制約を強制する計算上の非効率性を克服し、それらを有限で凸な最適化問題にタイトニングすること。
• 非負性、単調性、凸性などの複数の形状制約を同時に強制できるモジュラリティのあるフレームワークを構築すること。
• カーネルおよび目的関数に関する標準的な仮定のもとで、最適化スキームおよびその適応的変種が真の制約付き解へ収束することを理論的に保証すること。
• 入力空間の幾何的構造を活用できるロボット工学、制御、計量経済学で一般的な低次元から中程度次元の問題への実用的導入を可能にすること。

提案手法

• 関数の導関数における形状制約を、$ 0_{P\times P} \preccurlyeq \mathrm{diag}(b) + Df(x) \quad \forall x \in K $ というアフィンSDP不等式として定式化する。ここで $ Df(x) $ は微分作用素（例：ヘッセ行列）を表す。
• 被覆に基づく構成を用いて、無限制約集合 $ K $ を有限個の点の集合で近似し、第二順序コーン（SOC）のタイトニングによる有限近似を可能にする。
• 解の経路の収束を保証するため、ハウスドルフ距離において極限集合 $ \bar{\Omega}^{(\infty)} $ に収束するタイトニング集合の列 $ \bar{\Omega}^{(k)} $ を構築する。
• 各ステップで $ \bar{\Omega}^{(k)} $ 上での凸部分問題を解くことで $ (f^{(k)}, b^{(k)}) $ を計算する反復アルゴリズムを定義する。ここで $ f^{(k)} \in \hat{\mathcal{F}}_K $ かつ $ b^{(k)} \in \mathbb{R}^B $ である。
• vRKHSの幾何的構造と目的関数の強制性を活用し、反復列 $ (f^{(k)}, b^{(k)}) $ の弱収束を、極限問題の最適解へと証明する。
• 各タイトニングレベルで妥当性を維持するように、バイアス $ b^{(k)} $ の構成的選択により反復列の許容性と有界性を保証する。

実験結果

リサーチクエスチョン

• RQ1 無限次元関数空間（例：vRKHS）において、関数の導関数に対する硬い形状制約を効率的に強制できるか？
• RQ2 連続領域にわたる非可算無限個の点ごとのSDP制約を、制約の満たされ方を損なわずに有限で凸な最適化問題に変換できるか？
• RQ3 標準的な仮定のもとで、提案されたタイトニングスキームが元の制約付き問題の真の解へ収束するか？
• RQ4 フレームワークは、凸性と単調性などの複数の形状制約を、モジュラリティとスケーラビリティを備えて同時にサポートできるか？
• RQ5 滑らかでない、またはコンパクトでない定義域が存在する状況において、反復的解の経路に対して理論的保証（収束性、有界性など）を確立できるか？

主な発見

• 提案されたフレームワークは、第二順序コーンのタイトニングを用いて、関数の導関数における無限個のアフィンSDP制約を有限で凸な最適化問題に変換する。
• この手法は、反復的解の経路 $ (f^{(k)}, b^{(k)}) $ が極限問題 $ \bar{\Omega}^{(\infty)} $ の最適解へ収束することを保証する。この極限問題は元の制約付き問題と同等である。
• 解 $ (f^{(\infty)}, b^{(\infty)}) $ が、元の問題のタイトニング版および緩和版の両方で最適であることが示され、極限における正しさが確認された。
• 弱い仮定のもとで理論的収束が確立された：目的関数の強制性、初期許容ペアの存在、タイトニング集合間のハウスドルフ距離の有界性。
• フレームワークはモジュラリティを備え、非負性、単調性、凸性などの形状制約を個別にSDP制約として組み合わせることで、同時に複数の制約をサポートする。
• 実証的評価により、形状制約付き最適化、安全を重視する制御、ロボット工学、計量経済モデリングの分野での有効性が示された。特に低次元から中程度次元の設定で顕著な効果を発揮した。