[논문 리뷰] An Empirical Analysis of Deep Network Loss Surfaces

Daniel Jiwoong Im, Michael Tao외 1명|arXiv (Cornell University)|2017. 04. 24.

Advanced Neural Network Applications참고 문헌 19인용 수 22

한 줄 요약

이 논문은 다층 신경망의 손실 표면 기하학적 구조를 다각형 투영을 통한 시각화 기법을 사용해 경험적으로 조사하며, 확률적 최적화 방법인 SGD와 Adam이 서로 다른 구조적 특성을 가지는 최소값으로 수렴하는 것으로 드러났다. 주요 기여는 이러한 최소값들이 종종 낮은 손실 경로로 연결되어 있음을 보여주며, 비볼록성에도 불구하고 유리한 최적화 지형을 형성하고 있음을 시사한다.

ABSTRACT

The training of deep neural networks is a high-dimension optimization problem with respect to the loss function of a model. Unfortunately, these functions are of high dimension and non-convex and hence difficult to characterize. In this paper, we empirically investigate the geometry of the loss functions for state-of-the-art networks with multiple stochastic optimization methods. We do this through several experiments that are visualized on polygons to understand how and when these stochastic optimization methods find minima.

연구 동기 및 목표

• 고차원적이며 비볼록적인 다층 신경망의 손실 표면 기하학적 구조를 이해하기 위해.
• SGD와 Adam과 같은 확률적 최적화 방법이 이러한 복잡한 손실 지형을 어떻게 탐색하는지 조사하기 위해.
• 최신 다층 신경망에서 최소값의 연결성과 곡률을 시각화하고 분석하기 위해.
• 다른 최적화 방법이 찾은 최소값이 구조적으로 유사한지 또는 상이한지 판단하기 위해.
• 최적화 역학이 손실 표면 기하학을 어떻게 형성하는지 평가하기 위해.

제안 방법

• 저자는 고차원 손실 표면을 2차원 다각형으로 투영하기 위해 차원 축소 기법을 사용한다.
• SGD와 Adam을 포함한 다양한 확률적 최적화 방법을 사용해 최신 다층 신경망을 훈련시킨다.
• 찾은 최소값 사이의 선형 보간 경로를 따라 손실 값을 계산하여 연결성 여부를 평가한다.
• 다양한 영역에서 곡률과 손실 변화를 측정함으로써 손실 표면의 기하학적 특성을 분석한다.
• 일반화성을 확보하기 위해 표준 벤치마크와 네트워크 아키텍처에서 실험을 수행한다.
• 다른 최적화기에서 찾은 최소값의 구조적 특성을 비교하기 위해 시각화 도구를 사용한다.

실험 결과

연구 질문

• RQ1 다층 신경망에서 확률적 최적화 방법이 찾은 최소값들이 낮은 손실 경로로 연결되어 있는가?
• RQ2 SGD와 Adam과 같은 최적화 방법 간에 손실 표면의 기하학적 특성이 어떻게 다름을 확인할 수 있는가?
• RQ3 다층 신경망 손실 표면의 최소값들이 어느 정도 연결되어 있는가? 이는 유리한 최적화 지형을 시사하는가?
• RQ4 다른 최적화 방법이 유사한지 또는 상이한 곡률과 손실 특성을 가지는 최소값으로 수렴하는가?
• RQ5 손실 표면 기하학은 훈련된 모델의 일반화 성능을 설명할 수 있는가?

주요 결과

• 다른 최적화 방법이 찾은 최소값들은 종종 낮은 손실 경로로 연결되어 있어, 매우 연결되어 있고 유리한 최적화 지형임을 시사한다.
• 최소값 간의 손실 표면에서 높은 수준의 연결성이 관찰되어, 최적화가 고립된 국소 최소값에 갇히지 않는다는 것을 시사한다.
• 최소값 근처의 손실 표면 곡률은 일반적으로 낮아, 일반화 성능이 뛰어난 넓은 최소값의 존재를 뒷받침한다.
• SGD는 Adam보다 더 평평한 최소값을 찾는 경향이 있어, 일부 설정에서 더 우수한 일반화 성능을 보이는 이유를 설명할 수 있다.
• 손실 표면의 시각화 결과 손실 함수는 이전에 상정한 것만큼 비볼록성이 높지 않으며, 많은 최소값이 낮은 손실 경로 위에 존재함을 확인할 수 있다.
• 결과적으로, 다층 신경망에서 최적화 과정은 일반화 가능한 해로 수렴하는 데 유리한 지형에 의해 이끌린다는 것을 시사한다.