[논문 리뷰] GENO -- GENeric Optimization for Classical Machine Learning

Sören Laue, Matthias Mitterreiter외 1명|arXiv (Cornell University)|2019. 05. 31.

Machine Learning and Algorithms참고 문헌 64인용 수 9

한 줄 요약

GENO는 기호적 자동 미분를 사용하여 선언적 문제 사양에서 효율적인 솔버를 자동으로 생성하는 일반적인 최적화 프레임워크이다. 비선형 최소 제곱, 서포트 벡터 머신, 압축 측정 등 다양한 문제에서 전문 및 최신 솔버보다 수개의 주기로 성능을 뛰어넘는다.

ABSTRACT

Although optimization is the longstanding algorithmic backbone of machine learning, new models still require the time-consuming implementation of new solvers. As a result, there are thousands of implementations of optimization algorithms for machine learning problems. A natural question is, if it is always necessary to implement a new solver, or if there is one algorithm that is sufficient for most models. Common belief suggests that such a one-algorithm-fits-all approach cannot work, because this algorithm cannot exploit model specific structure and thus cannot be efficient and robust on a wide variety of problems. Here, we challenge this common belief. We have designed and implemented the optimization framework GENO (GENeric Optimization) that combines a modeling language with a generic solver. GENO generates a solver from the declarative specification of an optimization problem class. The framework is flexible enough to encompass most of the classical machine learning problems. We show on a wide variety of classical but also some recently suggested problems that the automatically generated solvers are (1) as efficient as well-engineered specialized solvers, (2) more efficient by a decent margin than recent state-of-the-art solvers, and (3) orders of magnitude more efficient than classical modeling language plus solver approaches.

연구 동기 및 목표

• 기계 학습에서 효율적인 최적화는 문제에 특화된 알고리즘 설계가 필요하다는 일반적인 믿음을 도전한다.
• 제약 조건이 있는 문제와 비볼록 문제를 포함한 다양한 고전적 기계 학습 문제를 지원하는 유연하면서도 높은 효율성을 갖춘 최적화 프레임워크를 개발한다.
• 수작업 최적화된 솔버의 효율성과 모델링 언어 + 솔버 프레임워크의 유연성 사이의 격차를 메운다.
• 자동으로 생성된 솔버가 잘 설계된 전용 솔버의 성능을 따라하거나 뛰어넘을 수 있음을 보여준다.

제안 방법

• GENO는 개별 문제 인스턴스가 아니라 문제 클래스 전체를 기술하는 고수준의 인간이 읽을 수 있는 모델링 언어를 사용한다.
• 기호적 자동 미분을 적용하여 목적 함수 및 제약 함수의 정확한 그래디언트와 헤시안을 생성한다.
• 제약 조건을 효율적으로 처리하기 위해 쿼asi-뉴턴 방법과 증강 라그랑주 방법을 결합한다.
• 표준 형식 변환의 비효율성을 피하기 위해 문제 사양에서 자동으로 솔버를 생성한다.
• 문제 차원이나 희소성 패턴을 사전에 고정하지 않아 코드 팽창을 방지하고 확장성을 확보한다.
• 부드럽게 근사화와 신뢰 영역 기법의 조합을 통해 비연속 및 비볼록 문제를 지원한다.

실험 결과

연구 질문

• RQ1 일관된 일반 솔버 프레임워크가 고전적 기계 학습에서 수작업 최적화된 문제 특화 솔버와 비교해 성능을 낼 수 있는가?
• RQ2 성능을 희생시키지 않고 선언적 문제 사양에서 자동으로 효율적인 솔버를 생성하는 것이 가능한가?
• RQ3 기호적 자동 미분과 증강 라그랑주 방법을 기반으로 한 일반 솔버가 실제 기계 학습 문제에서 최신 전문 솔버와 비교해 어떻게 성능을 낼 수 있는가?
• RQ4 계산 효율성 측면에서 전통적인 모델링 언어 + 솔버 파이프라인에 비해 이 프레임워크는 어느 정도 뛰어나게 성능을 낼 수 있는가?

주요 결과

• GENO가 생성한 솔버는 서포트 벡터 머신과 로지스틱 회귀와 같은 표준 기계 학습 문제에서 잘 설계된 전용 솔버와 비교해 유사한 성능을 달성한다.
• 비선형 최소 제곱 문제에서는 표준 설정에서 실패하는 S-AdaNCG와 AdaNCD-SCSG와 같은 최신 전문 솔버보다 큰 폭으로 성능을 뛰어넘으며 수렴한다.
• 압축 측정 문제에서는 최신 IRLS 알고리즘보다 수개의 주기로 목적 함수 최적값과 타당성에 대한 수렴 속도가 빠르다.
• 기존의 모델링 언어 + 솔버 접근 방식은 표준 형식 변환에서의 표현 비효율성으로 인해 GENO보다 수개의 주기로 더 효율성이 떨어진다.
• 비볼록 및 비연속 문제, 예를 들어 비선형 최소 제곱과 ℓ1-최소화 문제를 안정적으로 수렴시키며 성공적으로 처리한다.