[논문 리뷰] Algorithms for solving optimization problems arising from deep neural net models: smooth problems

Vyacheslav Kungurtsev, Tomáš Pevný|arXiv (Cornell University)|2018. 06. 30.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 5

한 줄 요약

이 논문은 깊이 신경망 최적화를 위해 라ン초스 기반 뉴턴-음의 곡률 방법을 제안하며, 안정점에서 벗어나기 위해 음의 곡률 방향을 명시적으로 활용함으로써, 확률적 경사하강법(SGD)보다 수렴 속도와 목적 함수 값 감소에서 뚜렷한 우수성을 보인다. 보안 이상 탐지 데이터셋에서의 실험 결과는 높은 반복당 비용에도 불구하고 우수한 성능을 입증한다.

ABSTRACT

Machine Learning models incorporating multiple layered learning networks have been seen to provide effective models for various classification problems. The resulting optimization problem to solve for the optimal vector minimizing the empirical risk is, however, highly nonlinear. This presents a challenge to application and development of appropriate optimization algorithms for solving the problem. In this paper, we summarize the primary challenges involved and present the case for a Newton-based method incorporating directions of negative curvature, including promising numerical results on data arising from security anomally deetection.

연구 동기 및 목표

• 첫 번째 순서 최적화 방법인 SGD와 같은 방법이 안정점으로 인해 수렴 속도가 느려지는 문제를 해결하기 위해.
• 비볼록 깊이 학습 문제에서 음의 곡률 방향을 명시적으로 통합함으로써 수렴 속도와 목적 함수 감소를 향상시킬 수 있는지 조사하기 위해.
• 헤시안-벡터 곱과 라ン초스 반복을 활용하여 표준 뉴턴 방법의 단점을 피하면서도 실용적이고 확장 가능한 두 번째 순서 최적화 방법을 개발하기 위해.
• 음의 곡률 방향을 사용할 때, 결정적 미니배치 순환 방식과 무작위 선택 방식의 수렴 유지 능력을 비교하기 위해.
• 계산 비용을 줄이기 위해 헤시안-벡터 곱 계산에 더 작은 배치 크기를 사용할 수 있는지, 동시에 유용한 곡률 정보를 유지할 수 있는지 탐색하기 위해.

제안 방법

• 현재 반복점에서 헤시안의 음의 곡률 방향을 식별하기 위해 라ン초스 알고리즘을 사용하여 근사 뉴턴 방향을 계산한다.
• 유한 차분 또는 자동 미분를 통해 헤시안-벡터 곱을 근사화하여 헤시안 저장 없이도 계산 가능하게 한다.
• 뉴턴 방향(s)과 음의 곡률 방향(d)을 결합하여 t = s + d와 같은 통합 탐색 방향을 구성함으로써, 양의 곡률 영역과 음의 곡률 영역 모두에서 내림차순 보장을 한다.
• 목적 함수의 충분한 감소를 보장하기 위해, 미니배치 함수에 대해 선형 탐색을 적용하여 스텝 크기 α를 결정한다.
• 반복적으로 수렴을 위해 필수적인 것으로 밝혀진 결정적 라운드로빈 인덱스 선택 방식을 구현한다. 무작위 선택과는 달리 이 방식은 수렴을 보장한다.
• 성능와 비용의 균형을 고려해 경험적으로 최적화된 결과를 바탕으로 고정된 라ン초스 반복 수(q ≈ 5)를 사용한다.

실험 결과

연구 질문

• RQ1 일반적인 첫 번째 순서 최적화 방법과 비교해 음의 곡률 방향을 명시적으로 활용함으로써 깊이 신경망 최적화에서 수렴 속도를 뚜렷이 향상시킬 수 있는가?
• RQ2 뉴턴 방향과 음의 곡률 방향을 결합함으로써, 딥 네트워크에서 유도되는 비볼록이고 매끄러운 최적화 문제에서 목적 함수 감소 속도가 빨라지는가?
• RQ3 스토하스틱 최적화에서 두 번째 순서 정보를 사용할 때, 결정적 미니배치 순환 방식과 무작위 선택 방식의 수렴 유지 능력은 어떻게 비교되는가?
• RQ4 최적화 성능이 저하되지 않도록 하면서도, 헤시안-벡터 곱 계산에 더 작은 배치 크기를 효과적으로 사용할 수 있는가?
• RQ5 실제 대규모 기계학습 문제, 예를 들어 보안 이상 탐지와 같은 문제에 대해 라ン초스 기반 방법은 강건하고 확장 가능한가?

주요 결과

• 제안된 라ン초스 뉴턴-음의 곡률 방법은 시소의 비공개 보안 이상 탐지 데이터셋에서 1000회 반복 동안 SGD보다 목적 함수 값을 뚜렷이 낮춘다.
• 반복당 계산 비용이 더 높음에도 불구하고, 이 방법은 일정, 감소, 선형 탐색 스텝 크기와 비교해도 더 빠른 수렴과 낮은 목적 함수 값을 달성한다.
• 미니배치 색인의 결정적 순환 방식이 수렴에 필수적이었으며, 무작위 선택은 목적 함수 상승을 유도하여 일부 배치에 과적합되는 것으로 나타났다.
• 이 방법은 음의 곡률 방향을 성공적으로 활용하여 안정점을 벗어나는 데 성공했으며, 이러한 방향이 신뢰할 수 있고 효과적인 내림차순 경로임을 입증했다.
• 실험 결과에 따르면 뉴턴 방향과 음의 곡률 방향을 결합한 t = s + d 방식이 효과적이었으며, 더 복잡한 조합 방식에 유의미한 성능 향상은 관찰되지 않았다.
• 유한 차분 또는 자동 미분를 통해 헤시안-벡터 곱을 계산함으로써, 명시적 헤시안 저장 없이도 실용적인 구현이 가능했다.