[논문 리뷰] Pixel Arrays: A fast and elementary method for solving nonlinear systems

David I. Spivak, Magdalen R. C. Dobson외 2명|arXiv (Cornell University)|2016. 08. 31.

Advanced Optimization Algorithms Research참고 문헌 6인용 수 5

한 줄 요약

이 논문은 비선형 연립방정식의 해를 경계 상자 내에서 근사하기 위한 빠르고 반복하지 않는 알고리즘인 픽셀 어레이(PA) 방법을 소개한다. 이 방법은 관계를 픽셀화된 부울 행렬로 간주하고 일반화된 어레이 곱셈을 통해 이를 결합함으로써 해를 도출한다. 이 방법은 뉴턴 기반 솔버보다 훨씬 빠르며, 한 벤치마크에서 7,200배 이상 빠르며, 잘못된 음성 결과를 방지하고 미분 불가능하거나 비연속적인 함수를 처리할 수 있다.

ABSTRACT

We present a new method, called the pixel array method, for approximating all solutions in a bounding box for an arbitrary nonlinear system of relations. In contrast with other solvers, our approach requires that the user must specify which variables are to be exposed, and which are to be left latent. The entire solution set is then obtained---in terms of these exposed variables---by performing a series of array multiplications on the $n_i$-dimensional plots of the individual relations $R_i$. This procedure introduces no false negatives and is much faster than Newton-based solvers. The key is the unexposed variables, which Newton methods can make no use of. In fact, we found that with even a single unexposed variable our method was more than 10x faster than Julia's NLsolve. Due to its relative simplicity, the pixel array method is also applicable to a broader class of systems than Newton-based solvers are. The purpose of this article is to give an account of this new method.

연구 동기 및 목표

• 지정된 경계 상자 내에서 비선형 연립방정식의 전체 해 집합을 계산하기 위한 빠르고 기본적인 방법을 개발하는 것.
• 초기 추정치가 필요하고 비연속 함수에서 성능이 떨어지거나 해를 놓칠 수 있는 반복적 솔버의 한계를 해결하는 것.
• 다른 변수들은 잠재변수로 간주하고, 사용자가 지정한 '노출된' 변수들만 출력으로 제공하는 해 근사 방법을 제공하는 것.
• 기존의 뉴턴 유형의 방법과 달리 비연속성이나 미분 불가능한 함수에 대해 강건한 방법을 제공하는 것.
• 노출되지 않은 변수들이 계산 속도를 크게 향상시킬 수 있음을 보여주어 기존 솔버와의 주요 우월성을 확보하는 것.

제안 방법

• 각 비선형 관계를 다차원 부울 픽셀 어레이로 표현하며, 각 픽셀은 주어진 정확도 내에서 해당 점이 관계를 만족하는지 여부를 나타낸다.
• 일반화된 어레이 곱셈(행렬 곱셈, 트레이스, 크로네cker 곱셈을 일반화한 것)을 사용하여 다수의 관계를 결합하고, 노출된 변수들에 대한 해 집합을 계산한다.
• 어레이 곱셈의 결합법칙과 단조성 덕분에 잘못된 음성 결과가 발생하지 않으며, 최적의 연산 클러스터링을 통해 효율적인 계산이 가능하다.
• 초기 픽셀 플롯에서 유도된 오차 한계를 곱셈 과정 전반에 걸쳐 유지함으로써 해의 정확도가 손상되지 않도록 보장한다.
• 효율적인 어레이 연산을 활용하여 줄리아(Julia)에서 구현함으로써 희박하거나 구조적인 관계를 가진 시스템에서도 높은 성능을 발휘할 수 있도록 한다.
• 사용자가 어떤 변수들이 노출된(출력에 포함되는) 변수이고 어떤 것이 잠재변수(내부에서 사용되지만 복원되지 않는)인지 지정할 수 있도록 하여 속도 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 어레이 곱셈 기반의 비반복적이고 기본적인 방법이, NLsolve와 같은 반복적 솔버보다 비선형 연립방정식의 모든 해를 찾는 데서 뛰어난 성능을 발휘할 수 있는가?
• RQ2 노출되지 않은(잠재적인) 변수들이 비선형 연립방정식을 푸는 데 있어 계산 속도에 어떤 영향을 미치는가?
• RQ3 픽셀 어레이 방법이 뉴턴 기반 방법이 실패하는 비연속적이거나 미분 불가능한 함수를 얼마나 잘 처리할 수 있는가?
• RQ4 어레이 곱셈이 초기 픽셀 플롯에서 유도된 오차 한계를 유지하면서도 정확한 해 근사치를 도출할 수 있는가?
• RQ5 닫힌 형태의 해가 없는 시스템에서 픽셀 어레이 방법의 성능이 수학적 기법을 사용하는 기호 솔버인 마이크로소프트의 Mathematica의 Solve 및 NSolve와 비교해 어떻게 되는가?

주요 결과

• NLsolve가 3시간 이상 종료되지 않은 시스템에 대해 픽셀 어레이 방법은 1.5초 만에 해 집합을 계산하여 7,200배 이상의 성능 향상을 달성했다.
• 단 하나의 노출되지 않은 변수가 존재하는 경우조차도, PA 방법은 벤치마크 시스템에서 줄리아의 NLsolve보다 10배 이상 빠르게 작동했다.
• Mathematica의 NSolve가 처리할 수 없어 '이 시스템은 NSolve에서 이용 가능한 방법으로는 해결할 수 없습니다'라는 오류를 반환한 시스템도 성공적으로 해결했다.
• 어레이 곱셈의 단조성 덕분에 잘못된 음성 결과가 발생하지 않아 모든 진짜 해가 유지됨을 보장했다.
• 정리 4.1에서 증명한 바와 같이, 초기 픽셀 플롯에서 유도된 오차 한계가 어레이 곱셈 과정 전반에 걸쳐 유지되었다.
• 뉴턴 기반 솔버가 부드럽고 미분 가능성을 요구하는 데 반해, 이 방법은 비연속성이나 비연속 함수에 대해 강건하다.