[논문 리뷰] Probabilistic Error Analysis for Inner Products

Ilse C. F. Ipsen, Hua Zhou|arXiv (Cornell University)|2019. 06. 25.

Risk and Portfolio Optimization참고 문헌 13인용 수 5

한 줄 요약

이 논문은 근사 계산된 내적의 전방 오차에 대한 확률적 오차 한계를 제안한다. 여기서 오차와 반올림 오차는 유계이면서 평균이 0인 랜덤 변수로 모델링된다. 아즈마의 부등식과 마팅게일 이론을 적용하여, 기존의 비대칭적 상한보다 훨씬 더 날카롭고 비점근적 상한을 도출하였으며, 이는 √n 비례로 증가하고 n 비례가 아니므로 윌킨슨의 직관을 확인하고, 특히 부호가 혼합된 요소를 가진 벡터에서 크게 향상된다.

ABSTRACT

Probabilistic models are proposed for bounding the forward error in the numerically computed inner product (dot product, scalar product) between of two real $n$-vectors. We derive probabilistic perturbation bounds, as well as probabilistic roundoff error bounds for the sequential accumulation of the inner product. These bounds are non-asymptotic, explicit, and make minimal assumptions on perturbations and roundoffs. The perturbations are represented as independent, bounded, zero-mean random variables, and the probabilistic perturbation bound is based on Azuma's inequality. The roundoffs are also represented as bounded, zero-mean random variables. The first probabilistic bound assumes that the roundoffs are independent, while the second one does not. For the latter, we construct a Martingale that mirrors the sequential order of computations. Numerical experiments confirm that our bounds are more informative, often by several orders of magnitude, than traditional deterministic bounds -- even for small vector dimensions~$n$ and very stringent success probabilities. In particular the probabilistic roundoff error bounds are functions of $\sqrt{n}$ rather than~$n$, thus giving a quantitative confirmation of Wilkinson's intuition. The paper concludes with a critical assessment of the probabilistic approach.

연구 동기 및 목표

• 실수 n-벡터의 내적에 대한 수치 계산 하에서 더 날카운 전방 오차 상한을 개발하기 위해.
• 특히 큰 n이나 구조가 있는 벡터에서 오차를 과대평가하는 경향이 있는 결정론적 상한의 한계를 해결하기 위해.
• 편향과 반올림 오차를 유계이면서 평균이 0인 랜덤 변수로 모델링하여, 확률적 농도 부등식을 적용할 수 있도록 하기 위해.
• 유효한 확률적 분석을 통해 윌킨슨의 직관, 즉 반올림 오차가 n·u 가 아니라 √n·u 비례로 증가한다는 것을 엄밀하게 확인하기 위해.
• 확률적 접근의 임계적 평가를 통해, 특히 모든 벡터 요소가 같은 부호를 가질 경우의 한계를 규명하기 위해.

제안 방법

• 지역 전방 오차를 모델링하기 위해 편향과 반올림 오차를 상호 독립적이며 유계이면서 평균이 0인 랜덤 변수로 표현하기 위해.
• 마팅게일 성질을 활용하여 아즈마의 부등식을 적용해 국소 오차의 합으로서 총 전방 오차를 상한하기 위해.
• 의존적인 반올림 오차를 다룰 수 있도록 내적의 순차적 누적 과정을 반영하는 마팅게일 수열을 구성하기 위해.
• 독립성 가정 하에 아즈마의 부등식을 사용하여 확률적 편향 상한을 유도하기 위해.
• 독립성 가정 없이도 적용 가능한 일반적인 확률적 반올림 오차 상한을 도출하기 위해 특화된 마팅게일 구성 기법을 개발하기 위해.
• 기존의 결정론적 상한(예: γn 상한)과 비교하고, 다양한 벡터 차원과 부호 구조에서 수치 실험을 통해 검증하기 위해.

실험 결과

연구 질문

• RQ1 기존의 결정론적 상한보다 훨씬 더 날카운 내적에 대한 확률적 오차 상한을 도출할 수 있는가?
• RQ2 확률적 모델링 하에서 내적의 상대 오차와 실패 확률 δ 사이의 관계는 어떻게 되는가?
• RQ3 확률적 상한이 윌킨슨의 직관, 즉 반올림 오차가 √n·u 비례로 증가한다는 것을 얼마나 잘 반영하는가?
• RQ4 왜 모든 벡터 요소가 같은 부호를 가질 경우, 확률적 상한이 큰 n에 대해 더 이상 상한이 되지 않는가?
• RQ5 특정한 구조를 가진 경우에 실패 확률 조정이나 편향 도입을 통해 확률적 접근을 체계적으로 향상시킬 수 있는가?

주요 결과

• 부호가 혼합된 요소를 가진 벡터에 대해서는, 확률적 상한 (9)이 결정론적 상한 (8)보다 수 개의 주기수만큼 더 날카롭게 작용하며, 작은 n에서도 마찬가지다.
• 모든 요소가 같은 부호를 가진 경우, 확률적 상한 (9)은 n ≈ 10^6를 초과하면 더 이상 상한이 되지 않으며, 이는 구조적 한계를 시사한다.
• 일반적인 확률적 반올림 오차 상한 (11)은 부호가 혼합된 벡터에 대해 결정론적 상한 (10)보다 최소 두 개의 주기수만큼 더 날카롭다.
• 확률적 상한은 n이 아닌 √n 비례로 증가하므로, 윌킨슨의 반올림 오차 증가에 대한 직관을 정량적으로 확인한다.
• 같은 부호를 가진 벡터에서 확률적 상한의 실패가 수치적 오류가 아니며, 평균이 0인 반올림 오차를 가정하는 모델링 가정을 재고할 필요가 있음을 시사한다.
• 저자들은 확률적 상한이 훨씬 더 날카럽고 정보가 많지만, 특히 구조가 있는 벡터의 경우 신중한 校정이 필요하다고 결론 내리며, 차원 의존적 또는 편향이 있는 모델에 대한未래 연구의 필요성을 강조한다.