[논문 리뷰] Gradient-based Sampling: An Adaptive Importance Sampling for Least-squares

Rong Zhu|arXiv (Cornell University)|2018. 03. 02.

Sparse and Compressive Sensing TechniquesEngineering인용 수 22

한 줄 요약

이 논문은 입력 데이터와 반응 변수를 모두 활용하여 기울기 값에 기반해 샘플링 확률를 계산하는 적응형 중요도 샘플링 방법인 기울기 기반 샘플링을 제안한다. 계산 시간을 O(nd)로 줄이고 오차 경계를 더 날카롭게 하여, 합성 및 실재 데이터셋에서 리지어런스 기반 및 균일 샘플링보다 통계적 효율성과 계산 속도 면에서 뛰어나다.

ABSTRACT

In modern data analysis, random sampling is an efficient and widely-used strategy to overcome the computational difficulties brought by large sample size. In previous studies, researchers conducted random sampling which is according to the input data but independent on the response variable, however the response variable may also be informative for sampling. In this paper we propose an adaptive sampling called the gradient-based sampling which is dependent on both the input data and the output for fast solving of least-square (LS) problems. We draw the data points by random sampling from the full data according to their gradient values. This sampling is computationally saving, since the running time of computing the sampling probabilities is reduced to O(nd) where n is the full sample size and d is the dimension of the input. Theoretically, we establish an error bound analysis of the general importance sampling with respect to LS solution from full data. The result establishes an improved performance of the use of our gradient- based sampling. Synthetic and real data sets are used to empirically argue that the gradient-based sampling has an obvious advantage over existing sampling methods from two aspects of statistical efficiency and computational saving.

연구 동기 및 목표

• 현대 데이터 분석에서 대규모 최소 제곱 문제의 계산 부담을 완화하기 위해.
• 반응 변수 정보를 忽시하고 고비용을 유발하는 균일 및 리지어런스 기반 샘플링의 한계를 극복하기 위해.
• 입력 및 출력 데이터를 모두 활용하여 통계적 효율성을 향상시키고 계산 시간을 단축하는 샘플링 방법을 개발하기 위해.
• 일般 중요도 샘플링에 대한 비점근 오차 경계를 수립하여 제안된 방법의 이론적 성능 보장을 가능하게 하기 위해.

제안 방법

• 최소 제곱 해의 프릴로트 추정치를 기반으로 손실 함수의 매개변수에 대한 기울기 값을 사용해 샘플링 확률를 계산한다.
• 각 데이터 포인트에 대해 기울기 벡터의 크기에 비례하는 샘플링 확률를 설정하여 입력 특성과 반응 값에 모두 반응하도록 한다.
• 리지어런스 기반 방법이 SVD 또는 랜덤화 SVD를 요구하는 것과는 달리, 샘플링 확률 계산 시간을 O(nd)로 감소시킨다.
• 기울기 값에서 유도된 비균일 확률을 사용한 중요도 샘플링을 통해 부분적 최소 제곱 문제를 구성한다.
• 이론적 분석을 통해 일반 중요도 샘플링 하에서 최소 제곱 해의 비점근 오차 경계를 유도하며, 성능 보장을 향상시킴을 보여준다.
• 실제 및 합성 데이터셋에 대해 방법을 확장하여 통계적 및 계산적 우수성을 실증적으로 검증한다.

실험 결과

연구 질문

• RQ1 반응 변수 정보를 샘플링 확률에 통합하면 최소 제곱 추정의 통계적 효율성이 향상되는가?
• RQ2 리지어런스 기반 샘플링과 비교해 기울기 기반 샘플링은 계산 비용을 줄이면서도 해의 정확도를 유지하거나 향상시키는가?
• RQ3 최소 제곱 문제에서 중요도 샘플링에 대한 비점근 오차 경계를 수립할 수 있으며, 이는 기존 경계와 어떻게 비교되는가?
• RQ4 실제 데이터 분포와 표본 크기에 따라 기울기 기반 샘플링의 성능은 어떻게 변화하는가?
• RQ5 이론적으로 예측된 바와 같이 제안된 방법이 최소 오차 경계에 거의 도달할 수 있는가?

주요 결과

• 기울기 기반 샘플링은 샘플링 확률 계산 시간을 O(nd)로 줄여 리지어런스 기반 샘플링보다 뚜렷한 계산적 우위를 제공한다.
• 이론적 분석을 통해 일반 중요도 샘플링에 대한 비점근 오차 경계를 수립하였으며, 기울기 기반 샘플링이 거의 최소 가능한 오차 경계에 도달할 수 있음을 보여준다.
• 합성 및 실재 데이터셋에 대한 실증 결과는 기울기 기반 샘플링이 리지어런스 기반 및 균일 샘플링보다 높은 통계적 효율성을 달성함을 보여준다.
• 비점근 오차 경계에 의해 지지되는 바와 같이, 부분표본 크기와 통계적 정확도 사이의 균형을 개선한 성능을 보인다.
• 프릴로트 추정치가 진짜 해에 가까울 경우, 기울기 기반 방법의 샘플링 분산은 이론적 최소값에 가까워지며, σ²_b(π⁰) − σ²_b(πᵉ) = o_p(1)로 나타난다.
• 확률적으로 높은 오차 경계 Pr{||β̃ − β|| ≤ C₁r⁻¹ᐟ² + C₂r⁻¹} ≥ 1 − δ를 달성하며, C₁ 및 C₂는 데이터와 신뢰 수준에 따라 달라진다.