[논문 리뷰] Using Mode Connectivity for Loss Landscape Analysis

Akhilesh Deepak Gotmare, Nitish Shirish Keskar외 2명|arXiv (Cornell University)|2018. 06. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 7

한 줄 요약

이 논문은 손실이 낮은 곡선을 통해 신경망의 국소 최소점들을 연결하는 방식인 모드 연결성의 다양한 학습 설정에서의 강건성에 대해 조사한다. 다양한 최적화 알고리즘, 초기화 방법, 하이퍼파라미터에 대해 강건함을 입증한다. 저자들은 이 프레임워크를 사용해 코스인 애너일링과 리스타트를 적용한 SGD(SGDR)를 분석하며, 이전에 주장된 바와는 달리 SGDR는 손실 장벽을 횡단하지만 여러 개의 국소 최소점으로 수렴하거나 이를 벗어나지 않는다는 것을 발견한다.

ABSTRACT

Mode connectivity is a recently introduced frame- work that empirically establishes the connected- ness of minima by finding a high accuracy curve between two independently trained models. To investigate the limits of this setup, we examine the efficacy of this technique in extreme cases where the input models are trained or initialized differently. We find that the procedure is resilient to such changes. Given this finding, we propose using the framework for analyzing loss surfaces and training trajectories more generally, and in this direction, study SGD with cosine annealing and restarts (SGDR). We report that while SGDR moves over barriers in its trajectory, propositions claiming that it converges to and escapes from multiple local minima are not substantiated by our empirical results.

연구 동기 및 목표

• 다양한 최적화 알고리즘, 초기화 방법, 하이퍼파라미터를 포함한 다양한 학습 체계에서 모드 연결성의 강건성을 평가하는 것.
• 이전 연구에서 제기된 바와 같이 SGDR이 여러 개의 국소 최소점으로 수렴하고 이를 벗어나는지 조사하는 것.
• 모드 연결성을 딥러닝에서 손실 표면과 최적화 경로를 분석하는 도구로 활용하는 것.
• 고정확도를 보이는 연결 곡선이 일반화 및 앙상블 방법에 미치는 영향을 탐색하는 것.
• 실증적 분석을 바탕으로 SGDR이 분명한 최소점들 사이를 이동한다는 해석을 도전하는 것.

제안 방법

• 모수 공간에서 조각별 선형 곡선을 통해 독립적으로 훈련된 두 모델(최소점)을 연결하는 방식으로 모드 연결성 적용.
• 단일 굴곡점을 가진 다각형 체인으로 연결 곡선을 매개변수화하고, 곡선 상의 기대 손실 최소화를 위해 확률적 경사 하강법을 사용.
• SGD를 사용해 기대 손실 ℓ(θ) = E[t∼U(0,1)]ℒ(ϕθ(t))를 최소화하며, 기울기의 미니배치 추정치를 활용.
• 굴곡점 θ를 두 모델의 모수 중간점으로 초기화: θ₀ = ½(wₐ + w_b).
• 세 개의 핵심 모델(예: w₇₀, w₁₅₀, w₇₀₋₁₅₀)으로 정의된 2차원 부분공간에 SGDR 최적화 경로를 투영하여 손실 표면의 행동을 시각화.
• 연결 곡선과 SGDR 경로를 따라 학습 및 검증 손실을 비교하여 일반화 성능 및 장벽 횡단 행동 평가.

실험 결과

연구 질문

• RQ1 다른 최적화 알고리즘, 학습률 스케줄링, 정규화 설정을 사용해 훈련된 최소점들을 모드 연결성이 신뢰성 있게 연결할 수 있는가?
• RQ2 이전에 추측된 바와 같이 SGDR이 실제로 여러 개의 국소 최소점으로 수렴하고 이를 벗어나는가?
• RQ3 모드 연결 곡선을 따라 그려진 손실 표면은 실제로 SGDR의 학습 경로와 어떻게 비교되는가?
• RQ4 모드 연결성을 통해 연결 곡선 상의 모델들 일반화 성능에 대해 어떤 통찰을 얻을 수 있는가?
• RQ5 모드 연결성 프레임워크는 고립된 최소점 외에도 손실 표면의 구조적 성질을 어느 정도 드러내는가?

주요 결과

• 모드 연결성은 다양한 학습 체계에서 효과를 유지하며, Adam, SGD 등의 최적화 알고리즘, 학습률 스케줄링, 배치 크기, 초기화 방법에 관계없이 성능이 뛰어나다.
• SGDR 경로가 손실 장벽을 횡단함을 확인할 수 있었으며, 이는 중간 모델과 최종 모델을 연결하는 선분 상에서 끝점보다 높은 학습 손실을 보여주었다.
• 장벽 횡단에도 불구하고 SGDR은 여러 개의 분리된 국소 최소점으로 수렴하거나 이를 벗어나지 않으며, 이는 이전 연구의 주장과 정면으로 배치된다.
• w₇₀과 w₁₅₀ 사이의 연결 곡선은 최종 SGDR 모델(w₁₅₀)보다 낮은 학습 손실을 기록한다(ℒ(w₁₅₀) > ℒ(w₇₀₋₁₅₀)), 이는 훈련 표면상 더 나은 해가 될 수 있음을 시사한다.
• 연결 곡선 상의 모델들은 SGDR 반복점보다 더 나쁜 일반화 성능을 보이며, 이는 검증 손실이 더 높게 나타남으로써 입증된다. 이는 SGD의 확률적 성격이 일반화에 기여한다는 것을 시사한다.
• 2차원 손실 표면 투영을 통해 w₇₀과 w₁₅₀ 사이 영역은 낮은 학습 손실을 보이지만 높은 검증 손실을 보이며, 이는 순환 학습률을 사용한 반복점 평균화가 일반화를 향상시키는 이유를 암시한다.