[논문 리뷰] Randomized Augmentation and Additive Preprocessing

Victor Y. Pan, Guoliang Qian외 1명|arXiv (Cornell University)|2014. 12. 18.

Face and Expression Recognition참고 문헌 1인용 수 2

한 줄 요약

이 논문은 조건 수가 나쁜 행렬의 조건 수를 줄이기 위해 무작위로 증강하고, 덧셈 전처리를 수행하는 방법을 제안한다. 고정 질량의 스케일링된 무작위 행렬(가우시안, 희소, 또는 구조적 무작위 행렬)을 추가하거나 첨가함으로써, 이 방법은 행렬의 조건 수를 크게 향상시켜 더 정확한 저질서 근사, 특이값 하위공간 계산, 블록 대각화를 가능하게 한다. 조건 수 감소에 있어 희소 또는 구조적 전처리기조차도 강력한 경험적 성능을 보인다.

ABSTRACT

Random matrices tend to be well conditioned, and so one can expect that appending prop-erly scaled random rows and columns or adding a scaled random matrix of a fixed rank can decrease the condition number of an ill conditioned matrix. We prove probabilistic estimates for this decrease by using Gaussian random matrices as the preprocessors, but our tests showed equally strong impact on the condition numbers in the case where the preprocessors were ran-dom sparse and structured matrices, defined by much fewer random parameters. For sample applications of randomized preprocessing to matrix computations, we precondition an ill condi-tioned matrix, approximate its singular spaces associated with its largest and smallest singular values, approximate this matrix with low-rank matrices, and yield its 2 × 2 block diagonaliza-tion. Combining our present techniques with randomized matrix multiplication (which we study

연구 동기 및 목표

• 행렬 계산에서 수치적 안정성과 정확도를 해치는 악조건 행렬 문제를 해결하기 위해.
• 무작위로 증강하거나 덧셈 전처리가 조건 수 감소에 효과적으로 기여할 수 있는지 조사하기 위해.
• 가우시안, 희소, 구조적 무작위 전처리기의 다양한 유형이 조건 수 감소에 미치는 성능을 평가하기 위해.
• 제안된 전처리 기법을 저질서 근사 및 블록 대각화와 같은 실용적 행렬 계산 작업에 적용하기 위해.

제안 방법

• 적절한 스케일링을 통해 원본 행렬에 행 또는 열을 첨가하거나 덧셈을 통해 추가하는 가우시안 무작위 행렬을 전처리기로 사용하여 조건 수를 향상시키기 위해.
• 무작위 행렬 이론에 기반한 이론적 추정을 통해 조건 수 감소의 확률적 감소를 분석하기 위해.
• 더 적은 무작위 매개변수를 요구하지만 유사한 조건 수 감소 성능을 보이는 희소 및 구조적 무작위 행렬과 같은 대안 전처리기를 테스트하기 위해.
• 가장 큰 및 가장 작은 특이값에 관련된 특이값 하위공간을 근사하기 위해 전처리된 행렬을 사용하기 위해.
• 전처리된 행렬을 사용하여 저질서 근사를 계산하고 2×2 블록 대각화를 수행하기 위해.
• 계산 효율성을 향상시키기 위해 전처리 기법을 랜덤 행렬 곱셈 기법과 결합하기 위해.

실험 결과

연구 질문

• RQ1 무작위로 증강하거나 덧셈 전처리가 악조건 행렬의 조건 수를 상당히 감소시킬 수 있는가?
• RQ2 조건 수 감소 성능에서 가우시안 무작위 전처리기와 희소 또는 구조적 무작위 행렬 간의 성능 비교는 어떠한가?
• RQ3 전처리 기법이 저질서 행렬 근사 정확도에 어느 정도 향상시키는가?
• RQ4 이 방법을 통해 가장 큰 및 가장 작은 특이값에 해당하는 특이값 하위공간을 신뢰성 있게 근사할 수 있는가?
• RQ5 전처리와 랜덤 행렬 곱셈의 조합이 계산 효율성과 안정성에 어떻게 기여하는가?

주요 결과

• 가우시안 무작위 행렬을 통한 랜덤 전처리는 행렬의 조건 수를 상당히 감소시키며, 이 감소는 확률적으로 추정 가능하다.
• 희소 및 구조적 무작위 행렬은 더 적은 무작위 매개변수를 요구하지만, 가우시안 전처리기와 유사한 조건 수 감소 성능을 달성한다.
• 이 방법은 악조건 행렬의 가장 큰 및 가장 작은 특이값에 관련된 특이값 하위공간을 정확하게 근사할 수 있도록 한다.
• 전처리된 행렬의 저질서 근사는 조건 수가 나쁜 행렬에 비해 더 높은 정확도와 안정성을 확보한다.
• 2×2 블록 대각화는 랜덤 전처리를 통해 효과적으로 수행될 수 있다.
• 랜덤 전처리를 랜덤 행렬 곱셈과 통합함으로써 계산 효율성이 향상되면서도 수치적 안정성이 유지된다.