[논문 리뷰] Quasi-Newton's method in the class gradient defined high-curvature subspace

Mark Tuddenham, Adam Prügel‐Bennett외 1명|arXiv (Cornell University)|2020. 11. 28.

Iterative Methods for Nonlinear Equations참고 문헌 6인용 수 5

한 줄 요약

이 논문은 딥러닝에서 클래스별 로짓 기울기로 정의된 고곡률 부분공간 내에서 뉴턴형 업데이트를 적용하는 새로운 준뉴턴 최적화 방법을 제안한다. 비록 손실 곡면의 곡률을 활용하여 수렴 속도를 빠르게 하고자 하는 목적이지만, 단순한 구현 방식은 학습을 느리게 하는 것으로 나타나, 고곡률 방향에서의 확률적 최적화와 이차항 업데이트를 결합하는 데 내재된 과제가 있음을 시사한다.

ABSTRACT

Classification problems using deep learning have been shown to have a high-curvature subspace in the loss landscape equal in dimension to the number of classes. Moreover, this subspace corresponds to the subspace spanned by the logit gradients for each class. An obvious strategy to speed up optimisation would be to use Newton's method in the high-curvature subspace and stochastic gradient descent in the co-space. We show that a naive implementation actually slows down convergence and we speculate why this might be.

연구 동기 및 목표

• 분류 손실 곡면의 내재된 고곡률 부분공간을 활용하여 딥러닝 최적화 효율을 향상시키는 것.
• 고곡률 부분공간에서 뉴턴형 업데이트를 수행하고, 보조 공간에서는 확률적 경사하강법을 적용하는 것이 수렴 속도를 가속화하는지 조사하는 것.
• 고곡률 방향에서 이차항 방법을 단순하게 적용할 경우 발생할 수 있는 잠재적 문제점을 규명하는 것.
• 클래스 기반 고곡률 부분공간에서 준뉴턴 업데이트를 적용하는 하이브리드 최적화 전략의 실패 원인을 이해하는 것.

제안 방법

• 분류 작업에서 최대 곡률 방향에 해당하는, 각 클래스별 로짓 기울기의 스칼라 곱으로 정의된 고곡률 부분공간을 식별한다.
• 하이브리드 최적화 전략을 제안: 고곡률 부분공간에서는 준뉴턴 업데이트를, 수직 보조 공간에서는 확률적 경사하강법을 적용한다.
• 헤시안의 고유분해를 통해 곡률 방향을 정의하며, 고유값과 고유벡터는 각각 곡률의 크기와 방향을 나타낸다.
• 계산 비용을 줄이기 위해, 클래스 기반 고곡률 부분공간 내에서만 준뉴턴 근사(예: BFGS 유사 업데이트)를 적용한다.
• 고곡률 부분공간과 나머지 매개변수 공간 간 최적화 역학을 분리하기 위해 투영 기반 접근법을 구현한다.
• 하이브리드 방법의 단순한 구현을 통해 수렴 동작을 테스트하며, 예상치 못한 성능 저하를 확인한다.

실험 결과

연구 질문

• RQ1 클래스 기반 고곡률 부분공간에서 준뉴턴 업데이트를 적용하면 딥러닝 최적화 속도가 향상되는가?
• RQ2 준뉴턴과 확률적 경사하강법을 결합한 단순한 하이브리드 접근 방식이 수렴 속도를 가속화하지 못하는 이유는 무엇인가?
• RQ3 특히 클래스별 부분공간에서의 곡률이 최적화 알고리즘의 수렴에 어떻게 영향을 미치는가?
• RQ4 안정적인 학습을 해치지 않으면서도 고차원 딥러닝 모델에서 이차정보를 효과적으로 활용할 수 있는가?
• RQ5 고곡률 부분공간에서 뉴턴형 업데이트를 적용할 경우 관찰된 저하 현상의 구조적 또는 역학적 이유는 무엇인가?

주요 결과

• 고곡률 부분공간에서 준뉴턴 업데이트를, 보조 공간에서는 SGD를 적용하는 단순한 하이브리드 최적화 전략은 표준 SGD보다 수렴 속도가 느리게 나타났다.
• 실패 원인은 고곡률 방향에서 이차항 업데이트에 의해 유도된 불안정성으로, 노이즈를 증폭하거나 곡률를 잘못 추정할 수 있기 때문이다.
• 클래스별 로짓 기울기로 정의된 고곡률 부분공간은 딥 네트워크의 분류 손실 곡면에서 주요 특징임을 확인했다.
• 이 연구는 이차항 방법이 손실 표면의 기하학적 특성에 적절히 맞춰지지 않은 한, 이 분야에서 본질적으로 유익하지 않음을 시사한다.
• 결과적으로 곡률 인식 최적화는 단순한 부분공간 분할과 국소 헤시안 근사 이상의 더 정교한 처리가 필요함을 시사한다.