[논문 리뷰] Implicit stochastic gradient descent

Panos Toulis, Edoardo M. Airoldi|arXiv (Cornell University)|2014. 08. 13.

Stochastic Gradient Optimization Techniques참고 문헌 84인용 수 3

한 줄 요약

이 논문은 대규모 매개변수 추정을 위한 수치적으로 안정적이고 통계적으로 효율적인 최적화 방법인 암시적 확률적 경사하강법(ISGD)을 제안한다. 관측된 피셔 정보를 기반으로 표준 업데이트를 암시적으로 줄이는 방식으로 반복점을 정의함으로써, 명시적인 계산 없이도 안정성과 효율성을 향상시킨다. 특히 평균화와 조합할 경우, 일반선형모형, 코크스 모형, M-추정 등 다양한 모형에서 최적의 渐近적 성질을 달성한다.

ABSTRACT

Stochastic optimization procedures, such as stochastic gradient descent, have gained popularity for parameter estimation from large data sets. However, standard stochastic optimization procedures cannot effectively combine numerical stability with statistical and computational efficiency. Here, we introduce an implicit stochastic gradient descent procedure, the iterates of which are implicitly defined. Intuitively, implicit iterates shrink the standard iterates. The amount of shrinkage depends on the observed Fisher information matrix, which does not need to be explicitly computed in practice, thus increasing stability without increasing the computational burden. When combined with averaging, the proposed procedure achieves statistical efficiency as well. We derive non-asymptotic bounds and characterize the asymptotic distribution of implicit procedures. Our analysis also reveals the asymptotic variance of a number of existing procedures. We demonstrate implicit stochastic gradient descent by further developing theory for generalized linear models, Cox proportional hazards, and M-estimation problems, and by carrying out extensive experiments. Our results suggest that the implicit stochastic gradient descent procedure is poised to become the workhorse of estimation with large data sets.

연구 동기 및 목표

• 대규모 데이터셋을 위한 확률적 최적화에서 수치적 안정성과 통계적 효율성 사이의 상충 관계를 해결한다.
• 계산 비용을 증가시키지 않고도 안정성을 유지하는 확률적 경사하강법을 개발한다.
• 표준 반복점을 적응적으로 축소하는 암시적 업데이트를 통해 통계적 효율성을 달성한다.
• 제안된 절차의 渐近적 분포와 비-渐近적 경계를 특성화한다.
• 일반선형모형, 코크스 비례위험모형, M-추정 문제에 대해 이론적 및 실증적 검증을 바탕으로 방법을 일반화한다.

제안 방법

• 각 반복점이 경사와 관측된 피셔 정보를 포함하는 고정점 방정식의 해로 정의되는 암시적 업데이트 규칙을 도입한다.
• 업데이트에서 관측된 피셔 정보 매트릭스를 암시적으로 활용하여 명시적 계산을 피하고 계산 효율성을 유지한다.
• 반복점에 평균화를 적용하여 통계적 효율성을 향상시키고 분산을 줄인다.
• 비-渐近적 위험 경계를 유도하고 추정기의 渐近적 분포를 특성화한다.
• 고곡률 영역에서 단계 크기를 자연스럽게 축소하는 암시적 업데이트를 통해 수치적 안정성을 향상시킨다.
• 지수족 모형, 생존 모형(Cox), M-추정 문제에 대해 프레임워크를 일반화한다.

실험 결과

연구 질문

• RQ1 암시적 확률적 경사하강법은 대규모 추정에서 수치적 안정성과 통계적 효율성을 동시에 달성할 수 있는가?
• RQ2 관측된 피셔 정보를 기반으로 한 암시적 업데이트 규칙은 표준 SGD와 비교해 수렴성과 분산에 어떤 영향을 미치는가?
• RQ3 다양한 통계 모형에서 암시적 추정기의 비-渐외적 및 渐외적 성질은 무엇인가?
• RQ4 평균화가 암시적 절차의 효율성을 얼마나 향상시키는가?
• RQ5 일반선형모형, 코크스 비례위험모형, M-추정 문제에서 이 방법은 실질적으로 어떻게 성능을 발휘하는가?

주요 결과

• 암시적 확률적 경사하강법 절차는 관측된 피셔 정보를 통해 국소 곡률을 기반으로 업데이트를 암시적으로 축소함으로써 뛰어난 수치적 안정성을 달성한다.
• 피셔 정보가 업데이트 규칙에서 명시적으로 계산되지 않기 때문에 방법은 계산 효율성을 유지한다.
• 평균화와 조합할 경우, ISGD는 전체 우도 추정기와 비교해 통계적 효율성을 달성한다.
• 비-渐외적 위험 경계가 도출되었으며, 약한 정규성 조건 하에서 향상된 수렴 행동을 보임을 보여준다.
• 추정기의 渐외적 분포가 특성화되었고, 이 프레임워크를 통해 기존 절차의 渐외적 분산이 드러났다.
• 실증 결과는 일반선형모형, 코크스 모형, M-추정 문제 전반에서 뛰어난 성능을 보이며, 이는 대규모 추론의 표준 도구로써의 잠재력을 뒷받침한다.