[論文レビュー] The extended Smale's 9th problem -- On computational barriers and paradoxes in estimation, regularisation, computer-assisted proofs and learning

Alexander Bastounis, Anders C. Hansen+1 more|arXiv (Cornell University)|Oct 29, 2021

Numerical Methods and Algorithms参考文献 87被引用数 44

ひとこと要約

本論文は拡張されたスマールの第9問題を提示し、推定/正則化/学習における非計算性現象と、入力が不正確な拡張モデル下での多項式コストアルゴリズムの存在を示すとともに、複雑性フレームワークと位相転移現象を提供する。

ABSTRACT

Linear and semidefinite programming (LP, SDP), regularisation through basis pursuit (BP) and Lasso have seen great success in mathematics, statistics, data science, computer-assisted proofs and learning. The success of LP is traditionally attributed to the fact that it is "in P" for rational inputs. On the other hand, in his list of problems for the 21st century S. Smale calls for "[Computational] models which process approximate inputs and which permit round-off computations". Indeed, since e.g. the exponential function does not have an exact representation or floating-point arithmetic approximates every rational number that is not in base-2, inexact input is a daily encounter. The model allowing inaccurate input of arbitrary precision, which we call the extended model, leads to extended versions of fundamental problems such as: "Are LP and other aforementioned problems in P?" The same question can be asked for an extended version of Smale's 9th problem on the list of mathematical problems for the 21st century: "Is there a polynomial time algorithm over the real numbers which decides the feasibility of the linear system of inequalities, and if so, outputs a feasible candidate?" One can thus pose this problem in the extended model. Similarly, the optimisation problems BP, SDP and Lasso, where the task is to output a solution to a specified precision, can likewise be posed in the extended model, also considering randomised algorithms. We will collectively refer to these problems as the extended Smale's 9th problem, which we settle in both the negative and the positive yielding two surprises: (1) In mathematics, sparse regularisation, statistics, and learning, one successfully computes with non-computable functions. (2) In order to mathematically characterise this phenomenon, one needs an intricate complexity theory for, seemingly paradoxically, non-computable functions.

研究の動機と目的

• 入力が不正確な拡張モデル（TuringとBSSを含む）へのSmale’s 9th問題の拡張を動機づける。
• 拡張モデルにおいてLP、BP、Lasso、SDPの最小化解をポリノミアルコストで計算可能かどうかを特徴づける。
• 非計算問題が計算機支援証明や学習環境で到達可能となるという矛盾した結果を示す。

提案手法

• 正確度2^{-k}で不正確な入力を提供するオラクルと多項式時間を含む拡張モデルを定義する。
• 拡張入力下で実現可能性とK桁の精度を対象とする問題1：拡張Smale’s 9th問題を定式化する。
• 拡張モデル下で不可能性と多項式時間アルゴリズムの両方を確立する定理3.3, 5.1, 6.1, 7.1を証明する。
• アルゴリズムの成功と失敗を研究するためのbreakdown epsilons（epsilon_B^s, epsilon_B^w）とexit flagsの枠組みを構築する。
• 近似難易度の位相転移（epsilon-A, epsilon_P A）とそれらの確率的対応（epsilon_PB^s, epsilon_PB^w）を示す。
• Keplerの証明や科学におけるロバスト推定のような実践的文脈と知見を関連づける。

実験結果

リサーチクエスチョン

• RQ1 LP、BP、Lasso、SDPのK桁の精度を出力する拡張モデルに多項式時間アルゴリズムが存在するか？
• RQ2 非計算入力がどの条件下で計算機支援証明や学習成果を可能にするか？
• RQ3 拡張最適化における扱いやすい領域と扱いにくい領域を分ける位相転移閾値（epsilon-approx, epsilon_B）は何か？
• RQ4 拡張フレームワークにおける確率的（ランダム化）アルゴリズムの成功確率と停止挙動はどうなるか？
• RQ5 これらの結果が現代の最適化ソフトウェアの解釈と実務での証明検査の信頼性にどう影響するか？

主な発見

• すべての入力に対して確率>1/2でK桁正確な数字を出力できるアルゴリズム（ランダム化を含む）が存在しない入力のクラスが存在する。
• 乱択アルゴリズムが非ゼロの確率で停止しない場合、そのようなアルゴリズムは確率>2/3でK桁正確を達成できないが、2/3確率のアルゴリズムは存在する。
• すべての入力に対してK−1桁を与えるアルゴリズムが存在するが、固定次元では一部の入力が達成のために任意に長い実行時間を強制するか、高確率で失敗する。
• 多項式時間でK−2桁を達成するアルゴリズムが存在し、nに対して多項式時間のオラクル呼び出しと制限された空間を持つ。
• 拡張問題は近似難易度の位相転移を示す。epsilon近似最小化を計算することはepsilon閾値によってPから非計算へ移動する可能性がある。
• 結果はSDPにも拡張され、計算機支援証明（例：Kepler’s conjecture）や最適化における位相転移現象との関係を裏付ける。