[논문 리뷰] An empirical analysis of the optimization of deep network loss surfaces

Daniel Jiwoong Im, Michael Tao외 1명|arXiv (Cornell University)|2016. 12. 13.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 39

한 줄 요약

이 논문은 다양한 최적화 알고리즘의 수렴점을 중심으로 한 저차원 투영을 통해 딥 네트워크 손실 함수의 기하학적 구조를 경험적으로 조사한다. 스위치 그래디언트 디센트(SGD) 변종들이 안장점에서 일관되게 다른 내림쪽 방향을 선택함으로써, 동일한 초기화 조건에서도 서로 다른 최종 해를 도출하는 것을 확인하였으며, 이는 배치 정규화가 최적화 궤적의 안정성을 높이는 데 핵심적인 역할을 한다는 것을 시사한다.

ABSTRACT

The success of deep neural networks hinges on our ability to accurately and efficiently optimize high-dimensional, non-convex functions. In this paper, we empirically investigate the loss functions of state-of-the-art networks, and how commonly-used stochastic gradient descent variants optimize these loss functions. To do this, we visualize the loss function by projecting them down to low-dimensional spaces chosen based on the convergence points of different optimization algorithms. Our observations suggest that optimization algorithms encounter and choose different descent directions at many saddle points to find different final weights. Based on consistency we observe across re-runs of the same stochastic optimization algorithm, we hypothesize that each optimization algorithm makes characteristic choices at these saddle points.

연구 동기 및 목표

• 실제 딥 네트워크 손실 함수의 기하학적 구조와 최적화 알고리즘이 이와 어떻게 상호작용하는지 이해한다.
• 동일한 초기화 조건에서도 서로 다른 최적화 알고리즘이 다른 해로 수렴하는 이유를 조사한다.
• 배치 정규화가 최적화 궤적의 일관성과 안정성에 미치는 영향을 검토한다.
• 후기 학습 단계에서 안장점이 여전히 발견되며, 이들이 알고리즘에 따라 다른 방향으로 발산하는지 평가한다.
• 다른 최종 가중치가 동일한 모델의 단순한 매개변수화인지, 아니면 질적으로 다른 모델를 의미하는지 확인한다.

제안 방법

• 초기 가중치와 최종 수렴점 사이의 보간을 통해 고차원 손실 함수를 저차원 공간으로 투영한다.
• 다른 최적화 알고리즘으로부터 확보한 최종 가중치 사이를 보간하여 손실 표면을 시각화한다.
• 다섯 가지 일반적인 일阶 최적화 방법을 사용: SGD, SGDM, RMSprop, Adadelta, Adam.
• CIFAR10 및 MNIST 데이터셋을 사용하여 NIN, VGG, FC2 네트워크에서 배치 정규화 유무에 따라 실험을 수행한다.
• 다양한 난수 초기화를 사용한 다중 재실험을 통해 런 간 해의 일관성을 평가한다.
• 최종 가중치 근처의 손실 표면 형태를 분석하여 알고리즘 특유의 특성과 안장점 행동을 규명한다.

실험 결과

연구 질문

• RQ1 동일한 초기화 조건에서 서로 다른 최적화 알고리즘이 같은가, 다른 해로 수렴하는가?
• RQ2 다른 최적화 알고리즘이 찾은 최종 가중치 근처의 손실 표면 기하학적 구조는 어떻게 다른가?
• RQ3 배치 정규화가 최적화 궤적의 일관성과 안정성에 어느 정도 영향을 미치는가?
• RQ4 후기 학습 단계에서도 안장점이 발견되며, 이들이 알고리즘에 따라 다른 방향으로 발산하는가?
• RQ5 다른 최종 해는 동일한 모델를 의미하는가, 아니면 질적으로 다른 행동을 보이는가?

주요 결과

• 동일한 초기화 조건에서도 서로 다른 최적화 알고리즘이 일관되게 다른 최종 가중치로 수렴함을 확인하였으며, 이는 안장점에서 알고리즘 특유의 선택이 이루어짐을 시사한다.
• 최종 해 근처의 손실 표면은 사용된 최적화 알고리즘에 따라 고유한 특징을 지닌 형태를 띠며, 명확히 다른 기하학적 구조를 띈다.
• 후기 학습 단계에서 최적화 알고리즘을 전환할 경우, 최종 해는 두 번째 알고리즘의 특성을 띠게 되며, 이는 계속해서 안장점을 통과하고 있음을 시사한다.
• 배치 정규화 없이 실험할 경우, 런 간 해의 일관성이 크게 감소하였으며, 더 복잡하고 변동성이 큰 손실 표면 형태를 보였다.
• 저차원 투영 공간에서 최종 가중치 쌍 사이에 높은 손실 볼록부가 존재하는 것으로 나타나, 서로 다른 해는 동일한 모델의 단순한 매개변수화가 아님을 시사한다.
• 이러한 결과는 볼록 함수에서의 최적화 효율성이 딥 네트워크 손실 표면으로 일반화되지 않음을 도전하며, 널리 퍼져 있는 안장점과 알고리즘에 따라 달라지는 내림쪽 방향 선택이 그 이유임을 시사한다.