[논문 리뷰] Direct Methods for Solving Positive Definite Total Least Squares Problems Using Orthogonal Matrix Decompositions

Negin Bagherpour, Nezam Mahdavi‐Amiri|arXiv (Cornell University)|2014. 07. 05.

Statistical and numerical algorithms참고 문헌 15인용 수 2

한 줄 요약

이 논문은 데이터 행렬과 목표 행렬 양측의 오차를 고려하는 새로운 오차 함수를 최소화하여 양의 정부호 전체 최소 제곱 문제를 직접 해결하는 방법을 제안한다. 직교 행렬 분해를 이용해 반복 최적화 없이 해를 직접 계산함으로써, 내부점 및 이차계획법 방법보다 더 낮은 오차 표준편차와 효과적 랭크를 달성한다.

ABSTRACT

The need to estimate a positive definite solution to an overdetermined linear system of equations with multiple right hand side vectors arises in several process control contexts. The coefficient and the right hand side matrices are respectively named data and target matrices. A number of optimization methods were proposed for solving such problems, in which the data matrix is unrealistically assumed to be error free. Here, considering error in measured data and target matrices, we present an approach to solve a positive definite constrained linear system of equations based on the use of a newly defined error function. To minimize the defined error function, we derive necessary and sufficient optimality conditions and outline a direct algorithm to compute the solution. We provide a comparison of our proposed approach and two existing methods, the interior point method and a method based on quadratic programming. Two important characteristics of our proposed method as compared to the existing methods are computing the solution directly and considering error both in data and target matrices. Moreover, numerical test results show that the new approach leads to smaller standard deviations of error entries and smaller effective rank as desired by control problems. Furthermore, in a comparative study, using the Dolan-More performance profiles, we show the approach to be more efficient.

연구 동기 및 목표

• 다중 우변 행렬을 가진 과잉 결정된 선형 시스템에서 기존 방법들이 데이터 행렬에 오차가 없다고 가정하는 한계를 해결한다.
• 데이터 행렬과 목표 행렬 양측의 불확실성을 고려하는 새로운 오차 함수를 제시한다.
• 반복 최적화에 의존하지 않고 양의 정부호 해를 직접 계산하는 알고리즘을 개발한다.
• 새로운 오차 함수로부터 유도된 필수 및 충분한 최적성 조건을 만족하는 해를 확보한다.
• 기존 방법과 비교하여 오차 분포와 효과적 랭크 측면에서 향상된 수치 성능을 입증한다.

제안 방법

• 데이터 행렬과 목표 행렬 양측의 변동을 고려한 총 최소 제곱 오차를 정량화하는 새로운 오차 함수를 정의한다.
• 양의 정부호 제약 조건 하에서 제안된 오차 함수를 최소화하기 위한 필요 및 충분한 최적성 조건을 유도한다.
• 직교 행렬 분해(예: QR 또는 SVD 유사 구조)를 활용해 문제를 직접 계산이 가능한 형태로 변환한다.
• 내부점 또는 이차계획법 방법에서 흔히 볼 수 있는 수렴 단계를 피하는 단일 단계로 해를 계산하는 직접 알고리즘을 구축한다.
• 직교 분해 프레임워크 내에서 제약 최적화를 통해 해의 양의 정부호성을 확보한다.
• 해결 과정에서 직교 변환의 구조를 활용해 수치적 안정성과 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 데이터 행렬과 목표 행렬 양측에 측정 오차가 존재할 때, 과잉 결정된 선형 시스템에 대해 양의 정부호 해를 어떻게 계산할 수 있는가?
• RQ2 이러한 시스템에서 데이터 행렬과 목표 행렬 양측의 불확실성을 적절히 반영하는 오차 함수의 형태는 무엇인가?
• RQ3 제안된 오차 함수의 최적성 조건에서 반복 해법을 피하는 직접 알고리즘을 유도할 수 있는가?
• RQ4 오차 분포와 효과적 랭크 측면에서 내부점 및 이차계획법 접근법에 비해 제안된 방법의 정확도와 효율성은 어떻게 비교되는가?
• RQ5 프로세스 제어 응용 분야에서 요구하는 오차 항목의 표준편차를 작게 하고 효과적 랭크를 낮추는 데에 새로운 방법이 성공적인가?

주요 결과

• 제안된 방법은 내부점 및 이차계획법 방법에서 흔히 사용되는 반복 보정 단계를 피하여 양의 정부호 해를 직접 계산한다.
• 수치 실험 결과, 기존 방법 대비 오차 항목의 표준편차가 더 작아짐을 확인하였다.
• 이 방법은 해의 효과적 랭크가 낮아지며, 제어 시스템 설계에 유리하다.
• Dolan-More 프레임워크를 활용한 성능 프로파일링 결과, 제안된 방법은 내부점 및 이차계획법 접근법보다 더 효율적임을 입증하였다.
• 유도된 최적성 조건은 필수이자 충분하여 오차 함수의 전역 최소값으로 수렴함을 보장한다.