[논문 리뷰] Minimax experimental design: Bridging the gap between statistical and worst-case approaches to least squares regression

Michał Dereziński, Kenneth L. Clarkson외 2명|arXiv (Cornell University)|2019. 02. 04.

Gaussian Processes and Bayesian Inference참고 문헌 24인용 수 8

한 줄 요약

이 논문은 최소 제곱 회귀 분석을 위한 실험 설계의 통계적 접근과 최악의 경우 접근을 연결하는 새로운 실험 설계 방법인 q-재스케일드 볼륨 샘플링을 소개한다. 데이터 포인트에 대한 분포 q를 활용하고 k ≥ d 개의 샘플을 확보함으로써, 높은 확률로 최적의 최대위험 경계를 달성하며, 고전적 설계와 최악의 경우 분석을 모두 향상시키는 통합 프레임워크를 제공한다.

ABSTRACT

In experimental design, we are given a large collection of vectors, each with a hidden response value that we assume derives from an underlying linear model, and we wish to pick a small subset of the vectors such that querying the corresponding responses will lead to a good estimator of the model. A classical approach in statistics is to assume the responses are linear, plus zero-mean i.i.d. Gaussian noise, in which case the goal is to provide an unbiased estimator with smallest mean squared error (A-optimal design). A related approach, more common in computer science, is to assume the responses are arbitrary but fixed, in which case the goal is to estimate the least squares solution using few responses, as quickly as possible, for worst-case inputs. Despite many attempts, characterizing the relationship between these two approaches has proven elusive. We address this by proposing a framework for experimental design where the responses are produced by an arbitrary unknown distribution. We show that there is an efficient randomized experimental design procedure that achieves strong variance bounds for an unbiased estimator using few responses in this general model. Nearly tight bounds for the classical A-optimality criterion, as well as improved bounds for worst-case responses, emerge as special cases of this result. In the process, we develop a new algorithm for a joint sampling distribution called volume sampling, and we propose a new i.i.d. importance sampling method: inverse score sampling. A key novelty of our analysis is in developing new expected error bounds for worst-case regression by controlling the tail behavior of i.i.d. sampling via the jointness of volume sampling. Our result motivates a new minimax-optimality criterion for experimental design which can be viewed as an extension of both A-optimal design and sampling for worst-case regression.

연구 동기 및 목표

• 최소 제곱 회귀 분석을 위한 실험 설계에서 통계적 접근과 최악의 경우 접근 간 격차를 해소하기 위해.
• 확률적 및 적대적 환경 모두에서 강력한 이론적 보장을 유지하는 샘플링 방법을 개발하기 위해.
• 데이터 및 설계 분포에 대한 최소한의 가정 하에 최적의 최대위험 경계를 확보하기 위해.
• 볼륨 샘플링을 일반화하여 데이터 포인트에 대한 분포 q를 통합함으로써, 융통성 있고 강건한 설계를 가능하게 하기 위해.
• 기대값과 높은 확률 영역에서 모두 최적의 성능을 달성하는 통합 프레임워크를 제공하기 위해.

제안 방법

• 인덱스 시퀀스 π ∈ [n]^k 에 대한 분포로, 각 시퀀스가 XᵀSπᵀSπX의 행렬식 비례로 선택되는 q-재스케일드 볼륨 샘플링을 제안한다.
• 샘플링 확률를 Pr(π) = [det(XᵀSπᵀSπX) / det(XᵀX)] × [d! / (k choose d)] × ∏_{i=1}^k q_i 로 정의하여 적절한 정규화를 보장한다.
• q에 의한 재스케일링을 통해 설계 선택에서 통계적 효율성과 최악의 경우 강건성 간 균형을 이룬다.
• k ≥ d 개의 샘플을 적용하여, 전 Rank 추정과 최악의 예측 오차 최소화를 보장한다.
• 기대 및 높은 확률 영역에서의 위험에 대한 이론적 경계를 유도하며, 최대위험 측면에서의 최적성을 보여준다.
• 적대적 환경에서도 상수 요소 이내로 최대위험을 달성함을 입증한다.

실험 결과

연구 질문

• RQ1 단일 실험 설계 방법이 최소 제곱 회귀 분석에서 통계적 가정과 최악의 경우 가정 모두에서 최적의 성능을 달성할 수 있는가?
• RQ2 볼륨 샘플링을 어떻게 일반화하여 데이터 포인트에 대한 사전 분포 q를 통합함으로써 강건성을 향상시킬 수 있는가?
• RQ3 제안된 q-재스케일드 볼륨 샘플링 방법의 최대위험은 얼마이며, 기존 방법과 비교해 볼 때 어떻게 되는가?
• RQ4 이 방법은 기대값 외에도 높은 확률에서 최적의 위험 경계를 유지하는가?
• RQ5 이 프레임워크는 원칙적인 방식으로 고전적 통계적 설계와 최악의 경우 분석을 통합할 수 있는가?

주요 결과

• 제안된 q-재스케일드 볼륨 샘플링은 최소 제곱 회귀 분석에서 최대위험을 상수 요소 이내로 달성한다.
• 동일한 가정 하에, 이 방법은 기대값 외에도 높은 확률에서 최적의 성능을 보장한다.
• 샘플링 분포는 q_i로 스케일된 행렬식 기반 확률 규칙을 통해 명시적으로 정의되며, 이론적 취급 가능성을 보장한다.
• 이 프레임워크는 통계적 접근과 최악의 경우 접근을 통합하여, 둘 다에서 잘 작동하는 단일 방법을 제공한다.
• k ≥ d 조건을 만족함으로써, 전 Rank 추정과 설계의 안정성을 확보한다.
• 더 나은 적응성과 강건성을 가능하게 하기 위해, 기존 볼륨 샘플링에 분포 q를 통합함으로써 이전 방법을 향상시켰다.