[논문 리뷰] optimParallel: an R Package Providing Parallel Versions of the Gradient-Based Optimization Methods of optim()

Florian Gerber, Reinhard Furrer|arXiv (Cornell University)|2018. 04. 30.

Machine Learning and Data Classification참고 문헌 3인용 수 3

한 줄 요약

이 논문은 R의 optim() 함수에서 제공하는 기울기 기반 최적화 방법의 병렬 구현을 제공하는 R 패키지 optimParallel를 소개한다. R의 어휘 스코프를 활용해 함수 평가를 캐시하고 재사용함으로써, 목적 함수와 기울기의 동시 계산을 가능하게 하여, 평가 시간이 긴 함수(0.05초 이상)의 최적화 시간을 기존 대비 최대 1+2p 배까지 단축시킨다. 특히 분석적 기울기를 사용할 경우 효과가 뚜렷하다.

ABSTRACT

The R package optimParallel provides a parallel version of the gradient-based optimization methods of optim(). The main function of the package is optimParallel(), which has the same usage and output as optim(). Using optimParallel() can significantly reduce optimization times. We introduce the R package and illustrate its implementation, which takes advantage of the lexical scoping mechanism of R.

연구 동기 및 목표

• L-BFGS-B, BFGS, CG와 같은 기울기 기반 최적화 방법을 사용할 때 계산 비용이 큰 함수에서 발생하는 장시간 최적화 문제를 해결하기 위해.
• 인터페이스를 변경하지 않고도 목적 함수와 기울기의 평행 평가를 가능하게 하는 optim()의 즉시 사용 가능한 대체품을 개발하기 위해.
• 효율적인 함수 평가 캐싱을 통해 병렬 컴퓨팅 자원을 활용하여 최적화 시간을 크게 단축하기 위해.
• 기존 optim() 함수와의 기능 및 결과 호환성을 유지하면서도 로그 정보 캡처 및 전진 차분 기울기 근사와 같은 새로운 기능을 제공하기 위해.

제안 방법

• 기본 R 함수 optim()의 인터페이스와 출력을 그대로 모방하는 래퍼 함수 optimParallel()을 구현한다.
• R의 어휘 스코프를 활용해 목적 함수(fn)와 기울기(gr) 평가 결과를 캐시하여, 동일한 파라미터 벡터가 반복적으로 사용될 경우 중복 계산을 방지한다.
• 각 반복 단계에서 fn()과 gr()을 복수의 프로세서 코어를 사용해 동시에 평가함으로써, 두 함수가 모두 계산될 경우 반복당 효과적인 시간이 max(T_fn, T_gr)로 감소한다.
• 분석적 기울기가 제공되지 않을 경우, 전진 차분 근사를 사용하여 매 반복당 fn() 평가 횟수를 1+2p에서 1+p로 줄인다.
• 정확성과 재현 가능성을 보장하기 위해 optim()의 안정적인 C 코드를 재사용한다.
• makeCluster 및 setDefaultCluster를 통해 R의 parallel 패키지와 통합하여 병렬 실행 환경을 관리한다.

실험 결과

연구 질문

• RQ1 R의 optim()에서 목적 함수와 기울기 함수의 병렬 평가가 계산 비용이 큰 함수에 대해 최적화 시간을 크게 단축시킬 수 있는가?
• RQ2 다양한 함수 평가 시간과 파라미터 차원에서 optimParallel()과 원래의 optim() 함수 간의 성능 향상 정도는 어떻게 비교되는가?
• RQ3 분석적 기울기와 수치적 기울기를 사용할 경우 병렬 최적화 방법의 성능 향상에 어떤 영향을 미치는가?
• RQ4 R의 어휘 스코프 메커니즘을 효과적으로 활용하여 병렬 최적화 환경에서 함수 평가를 캐시하고 재사용할 수 있는가? 이 과정에서 오버헤드나 오류가 발생하지는 않는가?
• RQ5 optimParallel()의 병렬 오버헤드가 정당해지는 최소 함수 평가 시간 임계값은 얼마인가?

주요 결과

• 함수 평가 시간이 0.05초를 초과하는 경우, 분석적 기울기를 제공할 경우 optimParallel()은 약 2배의 성능 향상을 달성한다.
• 분석적 기울기가 없을 경우 성능 향상은 파라미터 수에 따라 비례하며, 1+2p개의 목적 함수 호출을 병렬 평가함으로써 이론적으로 1+2p 배의 성능 향상을 기대할 수 있다.
• optimParallel()의 반복당 경과 시간은 파라미터 수나 기울기 지정 여부에 관계없이 항상 T_fn(목적 함수 단독 평가 시간)에 매우 가까운 수준을 유지한다.
• 벤치마크 결과에 따르면, optimParallel()은 모든 테스트 케이스에서 기존 optim()과 동일한 최적화 결과를 생성하여 기능 호환성을 유지한다.
• 전진 차분 근사를 사용함으로써 매 반복당 fn() 평가 횟수를 1+2p에서 1+p로 줄여, 가용 코어 수가 1+2p개 미만일 경우 효율성이 향상된다.
• 구현 과정에서 발생하는 계산 오버헤드는 매우 작아, 함수 평가 시간이 0.05초 이상인 경우 유의미한 이점을 제공한다.