[논문 리뷰] Reverse iterative volume sampling for linear regression

Michał Dereziński, Manfred K. Warmuth|arXiv (Cornell University)|2018. 06. 06.

Face and Expression Recognition인용 수 5

한 줄 요약

이 논문은 선형 회귀에서 전체 데이터 최적 해의 비편향 추정량을 보장하면서 총 제곱 손실을 최소화하는 d개의 행을 선택하기 위한 새로운 방법인 역반복 볼륨 샘플링을 소개한다. 행렬 X의 d×d 디자인 행렬에서 d개의 행을 선택할 때, 그들이 생성하는 평행육면체의 볼륨의 제곱에 비례하는 확률을 가짐으로써, 최소 제곱 해가 전체 데이터 최적 해의 비편향 추정량이 되도록 보장한다. 이는 기대 손실이 최적 손실의 정확히 (d+1) 배임을 보장하며, 강력한 이론적 근거와 활성 학습 및 실험 설계에 실용적인 알고리즘을 제공한다.

ABSTRACT

We study the following basic machine learning task: Given a fixed set of $d$-dimensional input points for a linear regression problem, we wish to predict a hidden response value for each of the points. We can only afford to attain the responses for a small subset of the points that are then used to construct linear predictions for all points in the dataset. The performance of the predictions is evaluated by the total square loss on all responses (the attained as well as the hidden ones). We show that a good approximate solution to this least squares problem can be obtained from just dimension $d$ many responses by using a joint sampling technique called volume sampling. Moreover, the least squares solution obtained for the volume sampled subproblem is an unbiased estimator of optimal solution based on all n responses. This unbiasedness is a desirable property that is not shared by other common subset selection techniques. Motivated by these basic properties, we develop a theoretical framework for studying volume sampling, resulting in a number of new matrix expectation equalities and statistical guarantees which are of importance not only to least squares regression but also to numerical linear algebra in general. Our methods also lead to a regularized variant of volume sampling, and we propose the first efficient algorithms for volume sampling which make this technique a practical tool in the machine learning toolbox. Finally, we provide experimental evidence which confirms our theoretical findings.

연구 동기 및 목표

• 최소한의 데이터로 총 제곱 손실을 최소화하는 이론적으로 타당하고 효율적인 선형 회귀의 부분집합 선택 방법을 개발한다.
• d개의 행을 선택할 때 그들이 생성하는 볼륨의 제곱에 비례하는 볼륨 샘플링이 전체 데이터 최소 제곱 해의 비편향 추정량을 생성함을 입증한다.
• 표준 부분집합 선택 기법을 넘어서, 볼륨 샘플링 하에서 의사역행렬 추정량의 기대값을 기반으로 하는 새로운 행렬 기대 항등식을 유도한다.
• 볼륨 샘플링을 위한 첫 번째 효율적인 알고리즘을 제공하여 머신 러닝 응용 분야에서 실용적으로 활용 가능하게 한다.
• 이론적 결과를 실증 실험을 통해 검증하여 기대 손실과 비편향성 성질을 확인한다.

제안 방법

• d개의 행을 선택할 때 그들이 생성하는 볼륨의 제곱 det(X⊤SXS)에 비례하는 확률을 가짐으로써, 행렬 X에서 d개의 행을 효율적으로 샘플링하는 새로운 알고리즘 프레임워크인 역반복 볼륨 샘플링을 제안한다.
• 의사역행렬 추정량의 정확한 기대값 공식을 도출하기 위해 행렬 볼륨 변환과 기본 행 연산을 기반으로 한 새로운 증명 기법을 도입한다.
• 핵심 항등식 유도: s≥d일 때 E[(ISX)+] = X+ 및 E[(X⊤SXS)−1] = (n−d+1)/(s−d+1) ⋅ (X⊤X)−1, 여기서 IS는 선택 행렬이다.
• 수치적 안정성과 일반화 성능 향상을 위해 볼륨 샘플링의 정규화된 변형을 개발한다.
• 역반복 과정을 통해 행을 역순으로 제거함으로써 볼륨 샘플을 반복적으로 구성함으로써 효율적인 계산을 가능하게 한다.
• 행렬 행렬식 항등식과 투영 기하학을 활용하여 예측 손실과 볼륨 변화 사이의 관계를 규명하고, 핵심 이론적 결과를 증명한다.

실험 결과

연구 질문

• RQ1 d개의 행을 선택하여 얻어진 최소 제곱 해가 전체 데이터 최적 해의 비편향 추정량이 되는가?
• RQ2 볼륨 샘플링된 해의 기대 총 제곱 손실이 최적 해에 비해 얼마인가?
• RQ3 기하학적으로 계산 비용이 매우 높은 볼륨 샘플링을 위한 효율적인 알고리즘을 설계할 수 있는가?
• RQ4 볼륨 샘플링 하에서 의사역행렬 추정량의 기대값을 지배하는 행렬 항등식은 무엇인가?
• RQ5 편향성과 손실 보장 측면에서 볼륨 샘플링은 다른 행 샘플링 방법과 어떻게 비교되는가?

주요 결과

• 볼륨 샘플링을 통해 선택된 d개의 행에서 얻어진 최소 제곱 해 w∗(S)는 전체 데이터 최적 해 w∗의 비편향 추정량이며, 즉 E[w∗(S)] = w∗이다.
• 볼륨 샘플링된 해의 기대 총 제곱 손실은 정확히 최적 손실의 (d+1) 배이다: E[L(w∗(S))] = (d+1)L(w∗).
• d개 이하의 응답을 가지는 어떤 샘플링 절차라도 기대 손실과 최적 손실의 비율이 상수로 유계가 될 수 없다.
• 행렬 기대값 E[(ISX)+]는 (XS)+가 X+의 부분행렬이 아니더라도 여전히 전체 의사역행렬 X+와 같다.
• 두 번째 모멘트 항등식 E[(X⊤SXS)−1] = (n−d+1)/(s−d+1) ⋅ (X⊤X)−1는 임의의 s≥d에 대해 성립하며, 이는 핵심 통계적 보장을 제공한다.
• 제안된 역반복 샘플링 알고리즘을 통해 볼륨 샘플의 효율적 계산이 가능해져, 이 방법이 대규모 머신 러닝 응용 분야에서 실용적으로 활용 가능해졌다.