[논문 리뷰] The Second Order Linear Model

Ming Lin, Shuang Qiu외 2명|arXiv (Cornell University)|2017. 03. 02.

Stochastic Gradient Optimization Techniques참고 문헌 13인용 수 3

한 줄 요약

이 논문은 $O(k^2d)$의 샘플링 복잡도를 가지며 기울기 없고 비볼록인 교차 알고리즘인 순간 추정 시퀀스(MES) 방법을 제안한다. 이 방법은 비대칭 서브가우시안 분포에서 기울기 편향을 제거함으로써 전역적이고 선형 수렴을 달성하며, 비MIP 분포에서 기존 기울기 하강법보다 수렴 속도와 강건성 면에서 뛰어나다.

ABSTRACT

We study a fundamental class of regression models called the second order linear model (SLM). The SLM extends the linear model to high order functional space and has attracted considerable research interest recently. Yet how to efficiently learn the SLM under full generality using nonconvex solver still remains an open question due to several fundamental limitations of the conventional gradient descent learning framework. In this study, we try to attack this problem from a gradient-free approach which we call the moment-estimation-sequence (MES) method. We show that the conventional gradient descent heuristic is biased by the skewness of the distribution therefore is no longer the best practice of learning the SLM. Based on the MES framework, we design a nonconvex alternating iteration process to train a $d$-dimension rank-$k$ SLM within $O(kd)$ memory and one-pass of the dataset. The proposed method converges globally and linearly, achieves $ε$ recovery error after retrieving $O[k^{2}d\cdot\mathrm{polylog}(kd/ε)]$ samples. Furthermore, our theoretical analysis reveals that not all SLMs can be learned on every sub-gaussian distribution. When the instances are sampled from a so-called $τ$-MIP distribution, the SLM can be learned by $O(p/τ^{2})$ samples where $p$ and $τ$ are positive constants depending on the skewness and kurtosis of the distribution. For non-MIP distribution, an addition diagonal-free oracle is necessary and sufficient to guarantee the learnability of the SLM. Numerical simulations verify the sharpness of our bounds on the sampling complexity and the linear convergence rate of our algorithm.

연구 동기 및 목표

• 일반 서브가우시안 분포 하에서 두차항 선형 모델(SLM)의 효율적이고 증명 가능한 비볼록 학습 문제를 해결하기 위해.
• 기울기 하강법이 고차 모멘트에 의해 기울기가 편향되는 비대칭 분포에서 겪는 근본적 한계를 극복하기 위해.
• 저랭크 SLM에 대해 $O(kd)$ 메모리와 $O(k^2d)$ 샘플링 복잡도를 갖는 메모리 효율적이고 일회성 스트림 처리 알고리즘을 개발하기 위해.
• SLM이 학습 가능한 이론적 조건을 설정하여 $\tau$-MIP와 비-MIP 분포를 구분하기 위해.
• 비-MIP 분포에서, 대각성 없는 오라클이 학습 가능성에 필수적이고 충분함을 보여주기 위해.

제안 방법

• 기울기 편향을 피하기 위해 순간 추정자 시퀀스를 구성하는 기울기 없는 접근 방식인 순간 추정 시퀀스(MES) 프레임워크를 제안한다.
• 첫째 및 둘째 차수 계수를 블록 최적화 방식으로 갱신하는 비볼록 교차 반복 과정을 설계한다.
• 일회성 데이터 스트림 처리 전략을 활용하여 $O(kd)$ 메모리 사용을 유지하고 온라인 학습 능력을 확보한다.
• 서브가우시안 한슨-하우이트 부등식과 집중 경계를 활용하여 순간 추정자의 수렴성을 분석한다.
• $\tau$-MIP(모멘트 역전환 성질) 조건을 도입하여 일반 서브가우시안 분포에서의 학습 가능성 특성을 기술한다.
• 비-MIP 분포에서, 두차항 계수 행렬 $M^*$의 식별 가능성을 보장하기 위해 대각성 없는 오라클을 통합한다.

실험 결과

연구 질문

• RQ1 일반 서브가우시안 분포 하에서 비볼록이고 기울기 없는 알고리즘이 두차항 선형 모델 학습에 대해 전역적이고 선형 수렴을 달성할 수 있는가?
• RQ2 기울기 하강법이 베르누이 또는 잘라낸 가우시안과 같은 비대칭 서브가우시안 분포에서 SLM 학습에 실패하는 이유는 무엇인가?
• RQ3 랭크-$k$ SLM을 복원하기 위해 필요한 최소 샘플링 복잡도는 얼마이며, 이는 비대칭성과 첨도와 같은 분포 특성에 어떻게 의존하는가?
• RQ4 어떤 분포 조건 하에서 SLM이 식별 가능하며, 언제 추가로 대각성 없는 오라클이 필요하는가?
• RQ5 기울기 하강 히ュ리스틱이 실패하는 상황에서도 제안된 방법이 $O(k^2d)$ 샘플링 복잡도와 선형 수렴 속도를 달성할 수 있는가?

주요 결과

• MES 방법은 $\epsilon$ 복원 오차에 도달하기 위해 $O(k^2d \cdot \mathrm{polylog}(kd/\epsilon))$개의 샘플을 사용하여 전역적이고 선형 수렴을 달성한다.
• 비대칭 분포, 특히 잘라낸 가우시안과 베르누이 분포에서 기울기 하강법보다 수렴 속도가 현저히 빠르며, 비대칭성이 증가할수록 그 격차가 더 커진다.
• 기울기 하강법은 $a=0$일 때의 잘라낸 가우시안(높은 비대칭성)에서 전역 수렴에 실패하지만, MES는 전역 수렴을 유지한다.
• $\tau$-MIP 분포에서는 $O(p/\tau^2)$개의 샘플로 SLM이 학습 가능하며, 여기서 $p$는 비대칭성과 첨도에 따라 달라진다.
• 비-MIP 분포에서는 대각성 없는 오라클이 SLM의 식별 가능성과 학습 가능성 보장을 위해 필수적이며 동시에 충분하다.
• 수치 시뮬레이션은 이론적 샘플링 복잡도 경계의 날카로움을 확인하고, 다양한 분포에서 MES의 선형 수렴 속도를 검증한다.