[논문 리뷰] Newton retraction as approximate geodesics on submanifolds

Ruda Zhang|arXiv (Cornell University)|2020. 06. 26.

Advanced Numerical Analysis Techniques참고 문헌 25인용 수 6

한 줄 요약

이 논문은 암시적 제약 조건으로 정의된 부분다양체 위에서 두 번째 차수의 재타입(리타입)으로 뉴턴 재타입(NR)을 도입한다. 이는 환경 공간의 정규 분할에 기반하며, 지수 매핑과 두 번째 차수까지 일치하고, 기울기 하강 최적화 및 샘플링에서 수렴 안정성이 뛰어나며, 기울기 또는 수직 재타입보다 계산 비용이 낮다. 실질적으로 더 효율적이고 강건한 성능을 보임을 증명한다.

ABSTRACT

Efficient approximation of geodesics is crucial for practical algorithms on manifolds. Here we introduce a class of retractions on submanifolds, induced by a foliation of the ambient manifold. They match the projective retraction to the third order and thus match the exponential map to the second order. In particular, we show that Newton retraction (NR) is always stabler than the popular approach known as oblique projection or orthographic retraction: per Kantorovich-type convergence theorems, the superlinear convergence regions of NR include those of the latter. We also show that NR always has a lower computational cost. The preferable properties of NR are useful for optimization, sampling, and many other statistical problems on manifolds.

연구 동기 및 목표

• 암시적 제약 조건으로 정의된 부분다양체 위에서 지오데식을 근사하기 위한 계산적으로 효율적이고 수치적으로 안정적인 재타입을 개발하기 위해.
• 최적화 및 샘플링 맥락에서 기존의 기울기 또는 수직 재타입의 수렴 행동을 향상시키기 위해.
• 다른 방법들과의 비교에서 뉴턴 재타입의 수렴 속도 및 계산 복잡도에 대한 이론적 보장을 수립하기 위해.
• 칸토로비치 유형의 수렴 정리에 의해 뉴턴 재타입이 두 번째 차수 정확도를 달성하고, 더 뛰어난 안정성을 보임을 입증하기 위해.
• 뉴턴 재타입의 업데이트 단계에서 대칭 선형 시스템을 사용함으로써 기울기 투영보다 더 낮은 계산 비용을 제공함을 보여주기 위해.

제안 방법

• Cᵏ 부분다양체로 구성된 부분다양체 𝒪를, ℝⁿ → ℝᶜ로 정의된 매끄러운 제약 함수 F의 영집합으로 정의하며, 0이 정규값임을 보장함으로써, 𝒪가 여피 차원 c를 갖는 Cᵏ 부분다양체임을 보장한다.
• 정규 공간 장을 통합하여 𝒪의 근방에 대한 정규 분할를 구성함으로써, 정규 지오데식을 따라 흐름을 이용해 재타입의 일군을 유도한다.
• 뉴턴 재타입(NR)을 도입하며, x + v 를 제약 다양체 𝒪 위로 투영하기 위해 뉴턴 유형의 선형 시스템을 푸는 방식으로 정의한다. 이는 야코비안 J(x)와 그 QR 분해를 사용한다.
• Jᵀ = QR 분해를 통해 정규 공간에 대해 안정적이고 직교적인 기저를 정의함으로써, 효율적이고 잘 조절된 선형 해법을 가능하게 한다.
• 업데이트 단계를 JJᵀ 를 포함하는 대칭 선형 시스템으로 제작함으로써, 기울기 재타입에서 일반 행렬 해법보다 계산이 더 효율적임을 확보한다.
• 뉴턴 재타입이 두 번째 차수 재타입임을 증명하기 위해, 프로젝티브 재타입과는 세 번째 차수까지 일치하고, 지수 매핑과는 두 번째 차수까지 일치함을 보임.

실험 결과

연구 질문

• RQ1 암시적 제약 조건으로 정의된 부분다양체에서, 지수 매핑과 두 번째 차수까지 일치하면서도 계산 효율성을 유지하는 재타입을 구성할 수 있는가?
• RQ2 칸토로비치 유형의 수렴 정리 하에서, 뉴턴 재타입의 수렴 행동은 기울기(수직) 재타입과 비교해 어떻게 다른가?
• RQ3 기울기 재타입에 비해 뉴턴 재타입이 연산 횟수와 선형 시스템의 조건수 측면에서 계산상의 이점이 있는가?
• RQ4 해결 다각형 다양체의 근방에서 뉴턴 재타입의 안정성과 초선형 수렴을 보장하는 조건은 무엇인가?
• RQ5 환경 공간을 제약 다양체에 수직인 부분다양체들로 분할하는 방식으로 뉴턴 재타입을 체계적으로 유도할 수 있는가?

주요 결과

• 뉴턴 재타입은 지수 매핑과 두 번째 차수까지 일치하고, 프로젝티브 재타입과는 세 번째 차수까지 일치함으로써, 두 번째 차수 정확도를 입증한다.
• 칸토로비치 유형의 수렴 정리 하에서, 뉴턴 재타입의 초선형 수렴 영역은 기울기 재타입의 수렴 영역을 엄밀히 포함함을 보이며, 더 뛰어난 수렴 안정성을 나타낸다.
• 뉴턴 재타입은 업데이트 단계에서 대칭 선형 시스템(JJᵀ)을 사용함으로써, 기울기 재타입에서 일반 행렬 해법보다 더 빠르고 안정적인 해법을 가능하게 한다.
• 연산 횟수 분석을 통해, 뉴턴 재타입의 계산 비용은 기울기 재타입보다 낮음을 제시된 정리 2.14의 증명에서 입증하였다.
• 뉴턴 재타입은 기울기 재타입과 동일한 조건 하에서 항상 잘 정의되고 안정적이며, 대칭 선형 시스템의 구조 덕분에 더 나은 조건수를 가짐을 보였다.
• 뉴턴 재타입 프레임워크 하에서 야코비안의 의사역행렬 노름은 조건수의 역수로 유계임을 보였으며, 적절한 정규성 가정 하에서 수치적 강건성을 보장한다.