[논문 리뷰] Optimal Sub-sampling with Influence Functions

Daniel Ting, Eric Brochu|arXiv (Cornell University)|2017. 09. 06.

Statistical Methods and Inference참고 문헌 4인용 수 11

한 줄 요약

이 논문은 대규모 데이터셋에서 추정 정확도를 최대한 유지하는 데 최적의 서브샘플링 방법을 영향 함수를 활용해 제안한다. 서브샘플링을 영향 함수에 대한 최적의 평균 추정으로 간주함으로써, 점점 줄어드는 분산을 달성하고 선형 및 분위수 회귀 모델 전반에서 균일, 리지기반, 기울기 기반 샘플링보다 뛰어난 성능을 보인다.

ABSTRACT

Sub-sampling is a common and often effective method to deal with the computational challenges of large datasets. However, for most statistical models, there is no well-motivated approach for drawing a non-uniform subsample. We show that the concept of an asymptotically linear estimator and the associated influence function leads to optimal sampling procedures for a wide class of popular models. Furthermore, for linear regression models which have well-studied procedures for non-uniform sub-sampling, we show our optimal influence function based method outperforms previous approaches. We empirically show the improved performance of our method on real datasets.

연구 동기 및 목표

• 선형 회귀를 초월한 일반 통계 모델에 대해 원칙적이고 비균일한 서브샘플링 방법의 부족을 해결한다.
• 모수 추정의 점점 줄어드는 분산을 최소화하는 이론적으로 탄탄한 서브샘플링 접근법을 개발한다.
• 영향 함수가 잔차와 설계 행렬의 영향을 균형 있게 조절할 수 있는 통합 프레임워크를 제공함을 보여준다.
• 기존 방법들인 리지 스코어와 기울기 기반 샘플링보다 이론적·실제로 뛰어난 성능을 보이는 것으로 보여준다.
• 다양한 모델(선형, 분위수, 일반화선형 모델 포함)에 적용 가능한 효율적이고 작업에 특화된 서브샘플링을 가능하게 한다.

제안 방법

• 각 데이터 포인트의 추정기 영향을 측정하는 데 영향 함수를 사용함으로써 원칙적인 서브샘플링이 가능해진다.
• 영향 함수의 크기를 기반으로 서브샘플링 확률를 설정함으로써 최적의 포isson 샘플링 설계를 이끌어낸다.
• 동일한 기대 크기의 모든 설계에서 점점 줄어드는 분산을 달성하는 정규화된 서브샘플링 절차를 유도한다.
• 잔차와 설계 행렬 영향을 명시적으로 분리함으로써 선형 회귀, 분위수 회귀, 일반화선형 모델에 이 방법을 적용한다.
• 파ilot 추정치를 사용해 영향 함수를 계산하고, 추정 정확도 손실가장 작아지는 가중 서브샘플을 생성한다.
• 완전한 행렬 역행렬 계산이 비용이 많이 들 경우 잔차만 또는 단순화된 리지 기반 추정치를 사용해 효율적인 근사치를 구현함으로써 강력한 성능 유지

실험 결과

연구 질문

• RQ1 영향 함수를 활용해 일반 통계 모델의 광범위한 클래스에 대해 최적의 비균일 서브샘플링 확률를 유도할 수 있는가?
• RQ2 리지 스코어와 기울기 기반 샘플링과 비교할 때 영향 기반 서브샘플링은 추정 정확도 측면에서 어떻게 다른가?
• RQ3 영향 함수 기반 접근법은 다른 서브샘플링 설계와 비교해 점점 줄어드는 분산에서 점점 최적의 성능을 달성하는가?
• RQ4 잔차와 설계 행렬 영향이 함께 최적의 서브샘플링에 영향을 미치는 정도는 어느 정도이며, 이 둘을 효과적으로 균형 잡을 수 있는가?
• RQ5 예를 들어 잔차만 기반으로 한 영향 함수의 단순 근사치는 계산 비용을 줄이며 여전히 뛰어난 경험적 성능을 보일 수 있는가?

주요 결과

• 영향 함수 기반 서브샘플링 방법은 동일한 기대 크기의 모든 정규화된 포isson 샘플링 설계 중에서 점점 줄어드는 분산을 달성한다.
• CASP 및 Online News Popularity 데이터셋에서, 이 방법은 균일 샘플링 대비 계수 추정 오차가 동일한 수준에 도달하기 위해 샘플 크기를 1/3에서 1/2로 줄일 수 있었다.
• 비대칭 분포를 띠는 Online News 데이터셋의 최소제곱 회귀에서, 영향 기반 방법은 균일 샘플링과 리지 기반 샘플링 모두를 상당한 격차로 앞섰다.
• 기울기 기반 방법은 정규화 없이 변수 척도의 문제로 인해 잔차 전용 샘플링보다 성능이 열 劣했다.
• 예를 들어 잔차만 사용하는 영향 함수의 근사치는 계산 비용을 줄이며 뛰어난 성능을 보였고, 특히 전체 행렬 역행렬 계산이 비현실적인 경우에 유용했다.
• 영향 기반 설계는 잔차와 설계 행렬 영향을 효과적으로 균형 잡지만, 리지 기반 방법은 잔차를 무시하고 기울기 기반 방법은 중심에 위치한 고잔차 포인트의 영향을 과소평가한다.