[論文レビュー] Probabilistic Error Analysis for Inner Products

Ilse C. F. Ipsen, Hua Zhou|arXiv (Cornell University)|Jun 25, 2019

Risk and Portfolio Optimization参考文献 13被引用数 5

ひとこと要約

本稿では、摂動および丸め誤差を有界で平均がゼロの確率変数としてモデル化することにより、数値的に計算された内積における前方誤差の確率的誤差境界を導入する。アズマの不等式とマルティンゲール理論を適用することで、nではなく√nに比例する、よりきめの細かい非漸近的境界を導出し、ウィルキンソンの直感を裏付け、特に符号が混合した要素をもつベクトルや小さな失敗確率の場合に、決定的境界よりも顕著に改善される。

ABSTRACT

Probabilistic models are proposed for bounding the forward error in the numerically computed inner product (dot product, scalar product) between of two real $n$-vectors. We derive probabilistic perturbation bounds, as well as probabilistic roundoff error bounds for the sequential accumulation of the inner product. These bounds are non-asymptotic, explicit, and make minimal assumptions on perturbations and roundoffs. The perturbations are represented as independent, bounded, zero-mean random variables, and the probabilistic perturbation bound is based on Azuma's inequality. The roundoffs are also represented as bounded, zero-mean random variables. The first probabilistic bound assumes that the roundoffs are independent, while the second one does not. For the latter, we construct a Martingale that mirrors the sequential order of computations. Numerical experiments confirm that our bounds are more informative, often by several orders of magnitude, than traditional deterministic bounds -- even for small vector dimensions~$n$ and very stringent success probabilities. In particular the probabilistic roundoff error bounds are functions of $\sqrt{n}$ rather than~$n$, thus giving a quantitative confirmation of Wilkinson's intuition. The paper concludes with a critical assessment of the probabilistic approach.

研究の動機と目的

• 数値計算下での2つの実n次元ベクトルの内積に対して、よりきめの細かい確率的前方誤差境界を構築すること。
• 大規模なnや構造的特徴をもつベクトルの場合にしばしば誤差を過大評価する決定的境界の限界を是正すること。
• 摂動および丸め誤差を有界で平均がゼロの確率変数としてモデル化し、確率的集中不等式の適用を可能とすること。
• ウィルキンソンの直感（丸め誤差がn·uではなく√n·uに比例して増大する）を、厳密な確率的解析により裏付けること。
• 確率的アプローチを批判的に評価し、特にすべてのベクトル要素が同じ符号をもつ場合にその限界を特定すること。

提案手法

• 局所前方誤差をモデル化するために、独立で有界かつ平均がゼロの確率変数として摂動および丸め誤差を表現する。
• マルティンゲールの性質を活用し、アズマの不等式を適用して、局所誤差の和としての総前方誤差を評価する。
• 従属する丸め誤差を扱うために、内積の逐次的蓄積を模倣するマルティンゲール列を構築する。
• 独立性の仮定の下で、アズマの不等式を用いて確率的摂動境界を導出する。
• 独立性を仮定しない一般化された確率的丸め誤差境界を、特化したマルティンゲール構築法を用いて開発する。
• 決定的境界（例：γn境界）と比較し、さまざまなベクトル次元および符号構造における数値実験を通じて検証する。

実験結果

リサーチクエスチョン

• RQ1 符号が混合したベクトルに対して、従来の決定的境界よりも著しくきめの細かい確率的誤差境界を内積について導出可能か？
• RQ2 確率的モデル下で、失敗確率δと内積の相対誤差の関係はいかなるものか？
• RQ3 確率的境界が、丸め誤差が√n·uに比例するというウィルキンソンの直感をどの程度反映しているか？
• RQ4 すべてのベクトル要素が同じ符号をもつ場合、確率的境界がなぜ大きなnに対して上界ではもはや成り立たなくなるのか？
• RQ5 失敗確率の調整や構造的状況におけるバイアスの導入によって、確率的アプローチを体系的に改善可能か？

主な発見

• 符号が混合した要素をもつベクトルでは、nが小さい場合でも確率的境界（9）は決定的境界（8）よりも数個のオーダーもきめの細かい。
• すべての要素が同じ符号をもつベクトルでは、n ≈ 10^6を超えると確率的境界（9）はもはや上界では機能しなくなり、構造的限界を示している。
• 混合符号ベクトルに対して、一般化された確率的丸め誤差境界（11）は決定的境界（10）よりも少なくとも2桁以上きめの細かい。
• 確率的境界はnではなく√nに比例してスケーリングされ、丸め誤差の増大が√n·uに比例するというウィルキンソンの直感を定量的に裏付けている。
• 同じ符号をもつベクトルにおける確率的境界の失敗は、数値的アーティファクトではなく、ゼロ平均丸め誤差のモデル化仮定の再考を示唆している。
• 著者らは、確率的境界が著しくきめの細かく情報量が多くあるものの、構造的ベクトルでは注意深いキャリブレーションが必要であり、次世代の次元依存型またはバイアス付きモデルの開発が今後の課題であると結論づける。