[논문 리뷰] An Introduction to Total Least Squares

Peter De Groen|ArXiv.org|1998. 05. 18.

Statistical and numerical algorithms참고 문헌 2인용 수 78

한 줄 요약

이 논문은 데이터 행렬과 우항 벡터 양쪽이 오차를 포함할 때 일반화된 최소 제곱법의 자연스러운 일반화로 전체 최소 제곱법(TLS)을 소개한다. 열공간과 행공간의 기하학적 통찰을 활용하여 특이값 분해(SVD)를 통해 TLS 문제를 해결하며, 독립 변수와 종속 변수 양쪽에 오차가 존재하는 경우에도 최적의 직선 또는 초평면을 제공함을 보여준다. 이는 특히 선형 회귀에서 절편을 유지하는 구조적 제약 조건을 갖는 '고정된' 열을 처리할 수 있음을 의미한다.

ABSTRACT

The method of ``Total Least Squares'' is proposed as a more natural way (than ordinary least squares) to approximate the data if both the matrix and and the right-hand side are contaminated by ``errors''. In this tutorial note, we give a elementary unified view of ordinary and total least squares problems and their solution. As the geometry underlying the problem setting greatly contributes to the understanding of the solution, we introduce least squares problems and their generalization via interpretations in both column space and (the dual) row space and we shall use both approaches to clarify the solution. After a study of the least squares approximation for simple regression we introduce the notion of approximation in the sense of ``Total Least Squares (TLS)'' for this problem and deduce its solution in a natural way. Next we consider ordinary and total least squares approximations for multiple regression problems and we study the solution of a general overdetermined system of equations in TLS-sense. In a final section we consider generalizations with multiple right-hand sides and with ``frozen'' columns. We remark that a TLS-approximation needs not exist in general; however, the line (or hyperplane) of best approximation in TLS-sense for a regression problem does exist always.

연구 동기 및 목표

• 데이터 행렬과 우항이 모두 오차를 포함할 때 일반 최소 제곱법의 자연스러운 확장으로서 전체 최소 제곱법(TLS) 공식화를 동기화하고 명확히 하기.
• 열공간과 행공간에서의 이중 해석을 통해 일반 최소 제곱법과 전체 최소 제곱법을 통합적으로 이해하기.
• 특이값 분해(SVD)를 통해 TLS 해가 어떻게 유도되는지 보여주며, 특히 과잉 결정계수 시스템과 회귀 문제에 적용하기.
• 특정 열(예: 선형 회귀에서의 상수항)이 오차 없이 고정되어 있다고 가정되는 경우에 대해 TLS를 확장하기.
• 선형 회귀 및 다중 우항의 맥락에서 TLS 해가 존재하는 조건을 설정하기.

제안 방법

• 데이터 행렬 A와 우항 벡터 b의 조합된 오차 행렬 (E|r)의 프로베니우스 노름을 최소화하는 방식으로 TLS 문제를 설정하며, b + r이 A + E의 상영역(image)에 속하도록 조건을 설정한다.
• 데이터 포인트를 R^m 공간의 벡터로 해석하고, 하위공간으로부터 유클리드 거리를 최소화함으로써 이중적 접근법을 사용하며, 이는 수직 투영과 SVD 기반 해로 이어진다.
• 증강행렬 (A|b)에 대해 SVD를 적용하여 TLS 해를 계산하며, 가장 작은 특이값에 대응하는 오른쪽 특이벡터가 최소 오차를 갖는다.
• 고정된 열이 있는 문제의 경우, 불확실한 열들을 고정된 열들에 대해 직교화하고, 직교 컴플리먼트에서 차원이 낮은 TLS 부분문제로 문제를 축소한다.
• 다중 우항의 경우, 블록 행렬로의 오차 최소화를 확장하고, 오차가 있는 시스템에 대해 SVD를 적용함으로써 TLS 문제를 해결한다.
• 고정된 열이 있는 일반 TLS 문제 A X = B의 해를 도출하기 위해 행렬을 고정된 부분과 불확실한 부분으로 분해하고, 고정된 부분공간의 직교 컴플리먼트에서 축소된 TLS 문제를 푸는 방식을 사용한다.

실험 결과

연구 질문

• RQ1 왜 데이터 행렬과 우항이 모두 측정 오차를 포함할 때 전체 최소 제곱법(TLS)이 일반 최소 제곱법의 더 자연스러운 일반화가 되는가?
• RQ2 열공간과 행공간에서의 이중 해석을 어떻게 활용하여 TLS 해를 기하학적으로 유도하고 이해할 수 있는가?
• RQ3 특이값 분해(SVD)가 TLS 해를 계산하는 데 어떤 역할을 하는가? 그리고 오차 노름을 최소화하는 데 어떻게 관련되는가?
• RQ4 특정 열(예: 선형 회귀에서의 절편 열)이 오차 없이 고정되어 있다고 알려진 경우, TLS 프레임워크는 어떻게 수정되어야 하는가?
• RQ5 TLS 해가 존재하는 조건는 무엇이며, 이는 데이터 행렬과 우항의 구조에 따라 어떻게 달라지는가?

주요 결과

• 오차가 독립 변수와 종속 변수 양쪽에 존재하는 회귀 문제에 대해 TLS 해는 항상 존재하며, 이는 전체 최소 제곱법의 의미에서 최적의 직선 또는 초평면을 나타낸다.
• 과잉 결정계수 시스템 A X = B 에 대한 TLS 해는 증강행렬 (A|B)의 SVD를 계산하고, 가장 작은 특이값에 대응하는 오른쪽 특이벡터를 선택함으로써 도출된다.
• 예를 들어 선형 회귀에서의 상수항처럼 고정된 열이 있는 문제의 경우, 불확실한 열들을 고정된 열들에 대해 직교화하고 직교 컴플리먼트에서 축소된 TLS 문제를 풀음으로써 TLS 해를 복원할 수 있다.
• 행렬 A₁(고정된 부분)이 full column rank가 아닐 경우, 고정된 부분 X₁의 해는 유일하지 않으며, A₁의 영공간 기저의 선형 조합을 더함으로써 임의로 조정 가능하다.
• TLS 공식화에서 조합된 오차 행렬 (E|r)의 프로베니우스 노름이 최소화되며, 이 최소값은 오차가 증강행렬의 가장 작은 특이값에 대응하는 오른쪽 특이벡터 방향으로 정렬될 때 도달된다.
• 데이터 포인트를 R^m 공간의 벡터로 해석하고 하위공간으로부터의 거리를 최소화하는 이중적 접근법은 TLS 해의 기하학적 근거를 제공하며, 일반 최소 제곱법과 전체 최소 제곱법의 이해를 통합한다.