[논문 리뷰] Randomized Least Squares Regression: Combining Model- and Algorithm-Induced Uncertainties.

T. Jocelyn, Ilse C. F. Ipsen|arXiv (Cornell University)|2018. 08. 17.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 6

한 줄 요약

이 논문은 모델 노이즈와 무작위 스케칭 알고리즘에 의한 최소 제곱 회귀 해의 불확실성에 대해 분석하며, 총 편향과 분산에 대한 정확한 표현을 유도한다. 알고리즘에 기인한 불확실성은 원래 문제와 스케칭된 문제 간의 기댓값 랭크 결함과 프로젝터 차이에 의해 결정됨을 보여준다.

ABSTRACT

We analyze the uncertainties in the minimum norm solution of full-rank regression problems, arising from Gaussian linear models, computed by randomized (row-wise sampling and, more generally, sketching) algorithms. From a deterministic perspective, our structural perturbation bounds imply that least squares problems are less sensitive to multiplicative perturbations than to additive perturbations. From a probabilistic perspective, our expressions for the total expectation and variance with regard to both model- and algorithm-induced uncertainties, are exact, hold for general sketching matrices, and make no assumptions on the rank of the sketched matrix. The relative differences between the total bias and variance on the one hand, and the model bias and variance on the other hand, are governed by two factors: (i) the expected rank deficiency of the sketched matrix, and (ii) the expected difference between projectors associated with the original and the sketched problems. A simple example, based on uniform sampling with replacement, illustrates the statistical quantities.

연구 동기 및 목표

• 모델에 기인한 불확실성과 알고리즘에 기인한 불확실성의 병합된 영향을 최소 제곱 회귀 해에 대해 정량화하는 것.
• 랭크 가정 없이 일반적인 스케칭 행렬 하에서 총 기대값과 분산에 대한 정확한 표현을 도출하는 것.
• 알고리즘적 불확실성이 스케칭된 문제에서 기댓값 랭크 결함과 프로젝터 차이에 어떻게 의존하는지 기술하는 것.
• 총 불확실성(편향과 분산)을 모델 전용 불확실성과 비교하여 주요 결정 요소를 규명하는 것.

제안 방법

• 乗법적 및加법적 행렬 편향에 대한 최소 제곱 해의 구조적 편향 한계를 유도한다.
• 확률 모델링을 사용하여 총 편향과 분산에 대한 정확한 표현을 도출하며, 모델과 알고리즘적 랜덤성 양쪽을 통합한다.
• 스케칭 행렬을 랜덤 연산자로 간주하는 프레임워크를 도입하여, 스케칭된 행렬이 전순위가 아닐 경우에도 분석이 가능하도록 한다.
• 핵심 양상을 정의한다: 스케칭된 행렬의 기댓값 랭크 결함과 원래 문제와 스케칭된 문제의 프로젝터 간 기댓값 차이.
• 균일한 표본 추출(재조합 포함) 스케칭 예시에 프레임워크를 적용하여 통계적 행동을 시각화한다.
• 알고리즘적 불확실성과 스케칭 과정의 기하적 성질 간 이론적 연결 고리를 확립한다.

실험 결과

연구 질문

• RQ1 모델에 기인한 불확실성과 알고리즘에 기인한 불확실성이 무작위 스케칭 회귀에서 최소 제곱 해에 어떻게 공동으로 영향을 미치는가?
• RQ2 모델적 불확실성과 알고리즘적 불확실성이 동시에 존재할 경우 총 편향과 분산에 대한 정확한 표현은 무엇인가?
• RQ3 스케칭된 행렬의 기댓값 랭크 결함은 총 불확실성에 어떻게 영향을 미치는가?
• RQ4 원래 문제와 스케칭된 문제의 프로젝터 간 차이가 알고리즘적 불확실성 결정에 어떤 역할을 하는가?
• RQ5 총 편향과 분산은 모델 전용 편향과 분산에 비해 상대적으로 어느 정도의 크기를 가지는가?

주요 결과

• 일반적인 스케칭 행렬에 대해 랭크 가정 없이도 무작위 최소 제곱 회귀에서의 총 편향과 분산이 정확히 기술됨을 확인하였다.
• 구조적 편향 한계에 기반해, 최소 제곱 문제에서 승법적 편향보다 가군적 편향에 더 민감한 것으로 나타났다.
• 총 불확실성과 모델 전용 불확실성 간 상대적 차이는 두 가지 요인에 의해 결정된다: 기댓값 랭크 결함과 기댓값 프로젝터 차이.
• 균일한 표본 추출(재조합 포함) 예시에서, 편향과 분산과 같은 통계적 양상이 명시적으로 도식화되었으며 이는 이론적 예측과 일치함을 보였다.
• 프레임워크는 알고리즘적 불확실성이 특히 프로젝터 차이를 통해 스케칭 과정의 기하학적 성질과 본질적으로 연결되어 있음을 드러냈다.