[논문 리뷰] Geometric Optimization Methods for Adaptive Filtering

Steven T. Smith|arXiv (Cornell University)|2013. 05. 08.

Advanced Adaptive Filtering Techniques참고 문헌 27인용 수 140

한 줄 요약

이 논문은 구, 스티펠(manifold) 및 그라스만(manifold)과 같은 다양체 위에서 리만 기하학적 최적화 방법—특히 리만 뉴턴 및 공액 기울기 알고리즘—을 도입하여 적응 필터링에서 고유값 및 특이값 문제를 해결한다. 공액 기울기 방법이 대칭 공간에서 초선형 수렴을 보임을 입증하며, 단계당 $O(nk^2)$ 연산과 $O(k)$ 행렬-벡터 곱셈을 요구한다. 수치 실험을 통해 294차원 다양체에서 50회 이터레이션 이내로 기계 정밀도에 수렴하는 것으로 확인되었다.

ABSTRACT

The techniques and analysis presented in this thesis provide new methods to solve optimization problems posed on Riemannian manifolds. These methods are applied to the subspace tracking problem found in adaptive signal processing and adaptive control. A new point of view is offered for the constrained optimization problem. Some classical optimization techniques on Euclidean space are generalized to Riemannian manifolds. Several algorithms are presented and their convergence properties are analyzed employing the Riemannian structure of the manifold. Specifically, two new algorithms, which can be thought of as Newton's method and the conjugate gradient method on Riemannian manifolds, are presented and shown to possess quadratic and superlinear convergence, respectively. These methods are applied to several eigenvalue and singular value problems, which are posed as constrained optimization problems. ...

연구 동기 및 목표

• 리만 다양체 위의 제약 문제를 위한 효율적인 최적화 알고리즘을 개발하는 것, 특히 적응 신호 처리에서의 적용을 목적으로 한다.
• 클래식한 최적화 기법—뉴턴의 방법과 공액 기울기—을 구, 스티펠 다양체 등의 리만 다양체로 일반화하는 것.
• 스티펠 다양체 위의 제약 최적화 문제로 부분공간 추적 문제를 공식화하는 것.
• 반복적 갱신 과정에서 추정된 고유벡터의 정규직교성을 유지하여 수치적 안정성을 확보하는 것.
• 시간에 따라 변화하는 행렬, 특히 부분공간 방향과 고유값의 급격한 변화가 있는 상황에서의 수렴성 및 추적 성능 평가

제안 방법

• 특이값 문제와 고유값 문제를 구 및 스티펠 다양체 위의 제약 최적화 문제로 공식화한다.
• 구 위에서 레일리 몫을 최적화하기 위해 리만 뉴턴의 방법을 적용하여 삼차 수렴을 보이며, 레일리 몫 반복과 동치임을 입증한다.
• 대칭 공간 위에서 리만 공액 기울기 방법을 개발하며, 지측선의 흐름과 평행 이동을 이용해 다양체의 기하학적 구조를 유지한다.
• 스티펠 다양체의 동차 공간 구조를 활용하여, 단계당 $O(nk^2)$ 연산과 $O(k)$ 행렬-벡터 곱셈을 요구하는 효율적인 알고리즘을 유도한다.
• 부분공간 추적의 목적함수로 스티펠 다양체 위의 일반화된 레일리 몫을 사용한다.
• 시간에 따라 변화하는 대칭 행렬을 대상으로 수치 실험을 수행하여, 부분공간 방향과 고유값의 급격한 변화가 있는 상황에서의 수렴성 및 추적 거동을 평가한다.

실험 결과

연구 질문

• RQ1 구 위에서 레일리 몫을 최적화할 때 리만 뉴턴의 방법이 삼차 수렴을 달성할 수 있는가? 또한 이 방법은 레일리 몫 반복과 어떻게 관련이 있는가?
• RQ2 대칭 공간 위에서 리만 공액 기울기 방법을 적용할 경우, 대칭 행렬의 $k$개 극단 고유벡터를 계산할 때 초선형 수렴이 이루어지는가?
• RQ3 스티펠 다양체 위에서 부분공간 추적을 위한 리만 공액 기울기 방법은 얼마나 효율적으로 구현될 수 있으며, 그 계산 복잡도는 어떠한가?
• RQ4 부분공간이 갑작스럽게 변화하는 경우—예를 들어 직교 평면으로 회전하거나 최대값에서 안장점으로 전이되는 경우—알고리즘이 어떻게 성능을 발휘하는가?
• RQ5 알고리즘이 반복 과정 전반에 걸쳐 추정된 부분공간 기저의 정규직교성을 유지할 수 있는가? 이는 수치적 안정성에 어떤 영향을 미치는가?

주요 결과

• 레일리 몫을 최적화하기 위해 구 위에 리만 뉴턴의 방법을 적용한 결과 삼차 수렴을 달성하였으며, 레일리 몫 반복은 이 방법의 효율적인 근사임을 입증하였다.
• 레일리 몫을 최적화하기 위해 구 위에서 리만 공액 기울기 방법을 적용한 결과, 극단 고유벡터를 계산하는 데 초선형 수렴을 보이며, 단계당 $O(n)$ 연산을 요구하는 새로운 알고리즘이 도출되었다.
• 스티펠 다양체 위에서 $k$개 극단 고유벡터 문제를 해결하기 위해, 알고리즘은 단계당 $O(nk^2)$ 연산과 $O(k)$ 행렬-벡터 곱셈을 요구하며, 294차원 다양체에서 50회 이터레이션 이내로 기계 정밀도에 수렴한다.
• 수치 실험 결과, 공액 기울기 방법이 부분공간의 급격한 변화 후에 재설정되면, 기계 정밀도에 도달하는 데 20단계 이내로 수렴함을 확인하였다.
• 고유값이 고정되거나 변화하는 상황에서 부분공간이 회전하는 추적 시나리오에서는, 고유값 추정이 10~25회 이터레이션 이내로 정확하게 도출되었다.
• 진짜 최대값이 안장점으로 전이되는 상황에서도 알고리즘은 약 15회 이터레이션 동안 해에 가까이 머물러 있어, 일시적인 조건에서도 강건함을 입증하였다.