[논문 리뷰] A Survey of Optimization Methods from a Machine Learning Perspective

Shiliang Sun, Zehui Cao외 2명|arXiv (Cornell University)|2019. 06. 17.

Machine Learning and Data Classification참고 문헌 211인용 수 44

한 줄 요약

이 연구 조사는 머신러닝 관점에서 최적화 방법을 분류하고, 장점, 한계 및 적합한 적용 맥락을 논의하며, ML 최적화의 도전 과제와 미해결 문제를 강조합니다.

ABSTRACT

Machine learning develops rapidly, which has made many theoretical breakthroughs and is widely applied in various fields. Optimization, as an important part of machine learning, has attracted much attention of researchers. With the exponential growth of data amount and the increase of model complexity, optimization methods in machine learning face more and more challenges. A lot of work on solving optimization problems or improving optimization methods in machine learning has been proposed successively. The systematic retrospect and summary of the optimization methods from the perspective of machine learning are of great significance, which can offer guidance for both developments of optimization and machine learning research. In this paper, we first describe the optimization problems in machine learning. Then, we introduce the principles and progresses of commonly used optimization methods. Next, we summarize the applications and developments of optimization methods in some popular machine learning fields. Finally, we explore and give some challenges and open problems for the optimization in machine learning.

연구 동기 및 목표

• 감독학습, 반감독학습, 비지도 학습 및 강화학습에 걸친 머신러닝의 최적화 문제를 설명한다.
• 머신러닝에서 사용되는 기본적이고 최근의 최적화 방법들을 체계적으로 검토한다.
• 깊은 신경망(DNN), RL, 메타 학습, 변분 추론, 그리고 MCMC에서의 최적화 방법의 적용을 논의한다.
• 향후 연구를 이끌기 위한 ML 최적화의 도전과제와 미해결 문제를 식별한다.

제안 방법

• 그라디언트 정보에 따라 최적화 방법을 분류한다: 1차(일차), 고차(고차) 및 파생 없는 방법.
• 수치 전처리(preconditioning)와 수렴 가속에서의 역할을 논의한다.
• 대표 알고리즘을 설명한다(예: SGD 및 변형, 모멘텀, Nesterov, AdaGrad/Adam, 분산 감소(variance reduction) 방법들).
• 대규모 ML 문제에서 수렴 속도, 계산 비용, 확장성 간의 트레이드오프를 설명한다.
• 최적화 방법을 DNN, RL, 메타 학습, 변분 추론, MCMC 등 ML 응용과 연결한다.

실험 결과

연구 질문

• RQ1 머신러닝과 가장 관련이 깊은 기본적이고 현대의 최적화 방법은 무엇이며, 그 강점과 한계는 무엇인가?
• RQ2 주요 ML 패러다임(감독학습, 비감독학습, 강화학습, 베이지안 추론) 전반에서 최적화 기법의 성능은 어떠하며, 어떤 구성들이 가장 효과적인가?
• RQ3 ML 최적화에서 남아있는 도전과제와 추가 연구가 필요한 미해결 문제가 무엇인가?

주요 결과

• 일차 방법들(예: SGD 및 변형)은 확장성으로 인해 ML에서 여전히 지배적이며, 가속 및 분산 감소 기법이 수렴 속도를 개선한다.
• 고차 방법은 곡률 정보를 활용할 때 더 빠른 수렴을 제공하지만, 해essian 저장 및 계산과 같은 실용적 도전에 직면한다.
• 파생 없는 방법은 도함수가 이용 불가하거나 비용이 많이 들 때 유용하며, 그래디언트 기반 방법을 보완할 수 있다.
• 적응형 학습률 방법(AdaGrad, RMSProp, Adam)은 실용적 성능 향상과 수작업 조정의 감소를 제공하며, 종종 고정 학습률 전략을 능가한다.
• 분산 감소 기법(예: SAG)은 SGD에서 그래디언트 노이즈를 줄임으로써 더 빠른 수렴을 달성할 수 있다.
• 최적화는 딥 뉴럴 네트워크, 강화학습, 메타학습, 변분 추론 및 MCMC를 포함한 ML 분야 전반에서 결정적 역할을 하며, 각 도메인에 맞춘 특정 방법들이 있다.