[논문 리뷰] Stochastic Gradient Descent for Linear Systems with Missing Data

Anna Ma, Deanna Needell|arXiv (Cornell University)|2017. 02. 23.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 누락된 데이터가 있는 대규모 선형 시스템을 해결하기 위해 특화된 mSGD 알고리즘을 제안한다. 불완전한 행렬을 다루기 위해 무편향 그래디언트 추정과 투영 단계를 적용한 SGD를 적응시킴으로써, 일관되지 않은 시스템일지라도 고정된 스텝 사이즈로 선형 수렴을 달성하며, 이는 이론적 보장과 시뮬레이션 및 실세계 데이터에 대한 실증적 검증을 수반한다.

ABSTRACT

Traditional methods for solving linear systems have quickly become impractical due to an increase in the size of available data. Utilizing massive amounts of data is further complicated when the data is incomplete or has missing entries. In this work, we address the obstacles presented when working with large data and incomplete data simultaneously. In particular, we propose to adapt the Stochastic Gradient Descent method to address missing data in linear systems. Our proposed algorithm, the Stochastic Gradient Descent for Missing Data method (mSGD), is introduced and theoretical convergence guarantees are provided. In addition, we include numerical experiments on simulated and real world data that demonstrate the usefulness of our method.

연구 동기 및 목표

• 데이터가 불완전하거나 누락된 항목을 포함할 때 대규모 선형 시스템을 해결하는 데 도전 과제를 다루기.
• 누락된 값이 있는 거대한 데이터셋에 적합한 저메모리 반복적 방법을 개발하기.
• 누락된 데이터가 존재하는 상황에서의 확률적 그래디언트 하강법에 대한 이론적 수렴 보장을 제공하기.
• 모의 및 실세계 데이터셋에서 제안된 방법의 효과성을 입증하기.

제안 방법

• 부분적으로 관측된 행렬 A에서 무작위로 선택된 행들로부터의 무편향 그래디언트 추정을 사용하는 mSGD를 제안한다.
• 목적 함수를 ||Ax - b||²/2m로 정의한다. 여기서 A는 부분적으로 관측된 행렬이다.
• 반복값이 타당 영역 내에 유지되도록 볼록 집합 W 위로의 투영 단계를 사용한다.
• 고정된 스텝 사이즈 전략을 통합함으로써, 일관되지 않은 시스템일지라도 선형 수렴을 가능하게 한다.
• 잔차의 수직성 덕분에 ∇F(x⋆) = 0이 성립하므로, Ax⋆ ≠ b이더라도 수렴 성질을 유지함을 활용한다.
• 리프시츠 연속성과 강凸성 가정을 도입하여 수렴 한계를 유도한다.

실험 결과

연구 질문

• RQ1 누락된 데이터가 있는 상황에서 확률적 그래디언트 하강법이 선형 시스템을 효과적으로 해결하도록 적응시킬 수 있는가?
• RQ2 제안된 mSGD 방법이 일관되지 않은 선형 시스템에 대해 고정된 스텝 사이즈로 선형 수렴을 달성하는가?
• RQ3 mSGD는 누락된 대규모 데이터에서 기존 방법과 비교해 실질적으로 어떻게 성능을 발휘하는가?
• RQ4 누락된 데이터 가정 하에 mSGD에 대해 어떤 이론적 보장을 설정할 수 있는가?

주요 결과

• mSGD 알고리즘은 일반적으로 감소하는 스텝 사이즈가 필요로 하는 것과 달리, 일관되지 않은 선형 시스템일지라도 고정된 스텝 사이즈로 선형 수렴을 달성한다.
• 이론적 분석에 따르면 기대 오차가 기하급수적으로 감소하며, r^k ||x₀ - x⋆||² + α²G⋆/(1 - r)로 유계이며, 여기서 r < 1이다.
• 잔차의 수직성 덕분에 ∇F(x⋆) = 0이 성립하므로, Ax⋆ ≠ b이더라도 수렴이 유지된다.
• 모의 및 실세계 데이터에 대한 수치 실험을 통해 mSGD의 실용성과 강건성을 확인하였다.
• 수렴 속도는 강凸성 매개변수 μ와 그래디언트의 리프시츠 상수 Lg에 따라 달라진다.