[논문 리뷰] Online Multiview Representation Learning: Dropping Convexity for Better Efficiency.

Zhehui Chen, Forest Yang외 2명|arXiv (Cornell University)|2017. 02. 27.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 3

한 줄 요약

이 논문은 비볼록 최적화 문제로 온라인 다중시점 표현 학습을 제안하며, 두 가지 확률적 경사 하강법(SGD) 방법을 통해 효율적인 최적화를 가능하게 한다. 확산 과정을 이용한 알고리즘 동역학 분석을 통해, 높은 확률로 전역 최적해에 수렴하는 전역 수렴성을 확립함으로써, 비볼록 방법의 이론과 뛰어난 경험적 성능 사이의 격차를 메운다.

ABSTRACT

Multiview representation learning is very popular for latent factor analysis. It naturally arises in many data analysis, machine learning, and information retrieval applications to model dependent structures between a pair of data matrices. For computational convenience, existing approaches usually formulate the multiview representation learning as convex optimization problems, where global optima can be obtained by certain algorithms in polynomial time. However, many evidences have corroborated that heuristic nonconvex approaches also have good empirical computational performance and convergence to the global optima, although there is a lack of theoretical justification. Such a gap between theory and practice motivates us to study a nonconvex formulation for multiview representation learning, which can be efficiently solved by two stochastic gradient descent (SGD) methods. Theoretically, by analyzing the dynamics of the algorithms based on diffusion processes, we establish global rates of convergence to the global optima with high probability. Numerical experiments are provided to support our theory.

연구 동기 및 목표

• 비볼록 방법의 경험적 성공성과 다중시점 표현 학습에서 이론적으로 선호되는 볼록 형식화 간의 이론적 격차를 해소하기 위해.
• 볼록 최적화의 계산 부담을 피하면서도 효율적이고 확장 가능한 온라인 학습 프레임워크를 개발하기 위해.
• 높은 확률적 보장 하에 비볼록 다중시점 학습에 대한 엄밀한 전역 수렴 속도를 확립하기 위해.
• 확률적 미분 방정식과 확산 과정을 이용해 SGD 기반 최적화의 동역학을 분석하기 위해.
• 이론적 발견을 수치 실험을 통해 검증하여 강력한 경험적 성능을 보여주기 위해.

제안 방법

• 전통적인 볼록 완화와 비교해 계산 효율성을 높이기 위해 온라인 다중시점 표현 학습을 비볼록 최적화 문제로 공식화한다.
• 두 가지 확률적 경사 하강법(SGD) 알고리즘을 사용해 비볼록 문제를 해결함으로써 온라인 및 점진적 학습을 가능하게 한다.
• 반복값의 확률적 행동을 모델링하기 위해 반복 동역학을 분석하기 위해 확산 과정을 활용한다.
• 이산적 SGD 과정의 연속 시간 근사에 기반해, 높은 확률적 범위 내에서 전역 최적해로의 전역 수렴 속도를 유도한다.
• 비볼록 최적화 동역학과 확산 과정을 연결하는 이론적 프레임워크를 도입하여 엄밀한 수렴 분석을 가능하게 한다.
• 반복값의 확률 밀도의 시간적 진화를 기술하기 위해 포커-플랭크 방정식을 사용하여 수렴 속도 추정을 촉진한다.

실험 결과

연구 질문

• RQ1 기존 연구에서 이론적 근거가 부족한 바에도 불구하고, 온라인 다중시점 표현 학습을 위한 비볼록 공식화가 높은 확률로 전역 수렴을 달성할 수 있는가?
• RQ2 비볼록 다중시점 학습 문제에 적용했을 때, 확률적 경사 하강법(SGD) 방법의 수렴 속도와 최적성은 어떻게 되는가?
• RQ3 비볼록 다중시점 학습의 맥락에서, SGD의 동역학과 확산 과정 사이의 이론적 연결은 무엇인가?
• RQ4 제안된 비볼록 접근 방식은 전역 수렴을 유지하면서도 볼록 형식화보다 계산 효율성이 뛰어나게 성능을 뛰어올릴 수 있는가?
• RQ5 높은 확률적 보장 하에 제안된 SGD 방법의 전역 수렴 속도는 무엇인가?

주요 결과

• 제안된 비볼록 공식화는 전통적인 볼록 대체물과 비교해 상당히 감소된 계산 비용으로 효율적인 온라인 학습을 가능하게 한다.
• 두 가지 SGD 방법은 확산 과정 분석을 통해 엄밀히 전역 최적해로의 높은 확률 수렴을 달성한다.
• 전역 수렴 속도가 유도되었으며, 이는 높은 확률적 범위에서 유효함을 보여주어 비볼록 방법의 경험적 성공성에 대한 이론적 근거를 제공한다.
• 수치 실험을 통해 이론적 예측이 확인되었으며, 실질적으로 강력한 경험적 성능과 빠른 수렴을 보여준다.
• 확산 과정을 통한 분석은 SGD 반복값의 확률적 동역학이 정량화 가능한 속도로 전역 해로 수렴함을 드러낸다.
• 이 프레임워크는 비볼록 접근 방식의 효과성을 정당화함으로써 이론과 실천 사이의 격차를 성공적으로 메운다.