[논문 리뷰] Statistical inference using SGD

Tianyang Li, Liu Liu외 2명|arXiv (Cornell University)|2017. 05. 21.

Machine Learning and Algorithms인용 수 10

한 줄 요약

이 논문은 고정 단계 크기를 사용하는 확률적 경사 하강법(SGD)을 활용한 M-추정에 대한 새로운 빈도주의 통계적 추론 방법을 제안한다. SGD 수열을 평균화하고 적절히 스케일링함으로써 부트스트래핑 또는 헤시안 행렬 계산 없이 점점 더 정규 분포로 수렴하는 추정량을 도출할 수 있으며, 합성 및 실제 데이터셋에서 기존 방법과 유사한 정확도를 확보하면서도 계산 비용을 크게 감소시킨다.

ABSTRACT

We present a novel method for frequentist statistical inference in $M$-estimation problems, based on stochastic gradient descent (SGD) with a fixed step size: we demonstrate that the average of such SGD sequences can be used for statistical inference, after proper scaling. An intuitive analysis using the Ornstein-Uhlenbeck process suggests that such averages are asymptotically normal. From a practical perspective, our SGD-based inference procedure is a first order method, and is well-suited for large scale problems. To show its merits, we apply it to both synthetic and real datasets, and demonstrate that its accuracy is comparable to classical statistical methods, while requiring potentially far less computation.

연구 동기 및 목표

• 대규모 M-추정 문제에 대해 부트스트래핑 기반 추론의 계산 비용을 줄인 효율적인 대안을 개발하기 위해.
• 고정 단계 크기의 SGD 수열을 평균화하고 스케일링할 경우, 신뢰구간 및 가설 검정에 적합한 점점 더 정규 분포로 수렴하는 추정량을 도출할 수 있음을 보여주기 위해.
• 고차원 설정에서 반복적인 샘플링 또는 이阶 도함수인 헤시안 행렬 계산의 계산 부담을 피하기 위해.
• 합성 데이터, 힉스 보손 탐지, 스플라이스 조인션 분류 데이터셋에서 실증적으로 방법의 성능을 검증하기 위해.
• 전통적 추론과 유사한 통계적 정확도를 유지하면서도 계산 비용을 크게 줄일 수 있음을 보여주기 위해.

제안 방법

• 최적화 과정에서 경험 위험 함수를 최소화하기 위해 고정 단계 크기를 사용하는 SGD를 통해 매개변수 추정 수열을 생성한다.
• 버닝 인 기간 동안의 이러한 SGD 반복값의 평균을 계산하여 진짜 매개변수에 대한 중심극한정리 추정량을 형성한다.
• 오르누슈타인-울렌벡 과정 근사에 기반하여 평균화된 SGD 수열의 점점 더 정규 분포로 수렴함을 이론적으로 정당화하며, 이는 동역학을 확산 과정과 연결한다.
• 평균화된 수열의 공분산을 M-추정량의 표본 분포를 일관되게 추정하는 데 사용한다.
• 재샘플링이 필요 없으며 헤시안 행렬 계산도 필요 없으며, 첫 번째 순서의 기울기 정보만으로도 작동한다.
• 강한 볼록성이 보장되지 않는 로지스틱 회귀의 경우, 수렴성과 추론의 타당성을 보장하기 위해 수정된 분석을 적용한다.

실험 결과

연구 질문

• RQ1 부트스트래핑 없이도 고정 단계 크기의 SGD 수열을 사용하여 M-추정량에 대한 유효한 신뢰구간을 구성할 수 있는가?
• RQ2 SGD 반복값의 평균이 진짜 표본 분포와 일치하는 공분산을 갖는 정규 분포로 수렴하는가?
• RQ3 정확도와 계산 비용 측면에서 부트스트래핑 및 피셔 정보량과 비교해 볼 때 SGD 기반 추론의 성능은 어떠한가?
• RQ4 로지스틱 회귀와 같이 강한 볼록성이 없는 목표 함수에 대해서도 이 방법을 효과적으로 적용할 수 있는가?
• RQ5 대규모 실생활 데이터셋(예: 힉스 및 LIBSVM 스플라이스)에서 이 방법의 실증적 행동 양상은 어떠한가?

주요 결과

• n=200인 힉스 데이터셋에서 제안된 SGD 추론 절차를 통해 추정된 공분산 행렬이 부트스트래핑과 역행렬 피셔 정보 행렬과 매우 유사하게 일치한다.
• 더 큰 데이터셋(n=50,000 및 n=90,000)에서는 SGD 추론 공분산이 여전히 역행렬 피셔 정보와 유사하게 유지되어 일관성의 정당성을 확인한다.
• n=1,000인 스플라이스 데이터셋에서 SGD 추론 공분산은 10,000개의 샘플을 사용한 부트스트래핑 추정과 통계적으로 구분되지 않았다.
• 악성 MNIST 실험에서, 이 방법은 신뢰구간 위반을 통해 변형된 이미지를 성공적으로 탐지하였으며, 로짓 값이 겹치지 않는 구간으로 이동하였다.
• 특히 고차원 또는 대규모 설정에서 부트스트래핑보다 훨씬 적은 연산을 요구하면서도 전통적 추론과 유사한 통계적 정확도를 확보하였다.
• 오르누슈타인-울렌벡 근사에 기반한 이론적 정당성은 약한 정규성 조건 하에서 평균화된 SGD 수열의 점점 더 정규 분포로 수렴함을 지지한다.