[논문 리뷰] Revisiting "Qualitatively Characterizing Neural Network Optimization Problems"

Jonathan Frankle|arXiv (Cornell University)|2020. 12. 12.

Advanced Neural Network Applications참고 문헌 6인용 수 8

한 줄 요약

이 논문은 현대 딥러닝 환경에서 네트워크 초기화와 학습된 가중치 사이의 선형 보간을 재평가함으로써 Goodfellow 등(2014)의 결과를 재검토한다. MNIST에서의 원래 연구와 달리, 저자들은 더 큰 규모의 작업(CIFAR-10, ImageNet)에서 최적에 가까워지기까지 손실이 높고 비볼록적이며, 학습 초반에 급격한 장벽이 나타남을 발견하여, 현대 네트워크가 단순하고 비볼록적인 손실 곡면을 가진다는 개념에 도전한다.

ABSTRACT

We revisit and extend the experiments of Goodfellow et al. (2014), who showed that - for then state-of-the-art networks - "the objective function has a simple, approximately convex shape" along the linear path between initialization and the trained weights. We do not find this to be the case for modern networks on CIFAR-10 and ImageNet. Instead, although loss is roughly monotonically non-increasing along this path, it remains high until close to the optimum. In addition, training quickly becomes linearly separated from the optimum by loss barriers. We conclude that, although Goodfellow et al.'s findings describe the "relatively easy to optimize" MNIST setting, behavior is qualitatively different in modern settings.

연구 동기 및 목표

• Goodfellow 등(2014)의 신경망 손실 곡면에 대한 정성적 분석을 현대 딥러닝 환경으로 재표현하고 확장하기 위해.
• 초기화 상태와 학습된 가중치 사이의 선형 경로를 따라 관찰된 약간의 볼록성 있는 손실 행동이 MNIST를 초월해 현재의 아키텍처와 데이터셋으로 일반화되는지 조사하기 위해.
• 이전 연구에서 관찰된 최적화의 단순성은 현대 네트워크의 기본적 성질인지, 아니면 MNIST 설정에 특화된 것인지 평가하기 위해.
• 초기화 상태뿐만 아니라 중간 학습 단계의 점들로부터도 보간을 수행함으로써 손실 곡면의 변화, 특히 장벽과 비단조화적 행동의 변화를 분석하기 위해.

제안 방법

• 학습의 시작 시점(반복 0)의 네트워크 가중치와 학습 종료 시점의 최종 학습된 가중치 사이를 100개의 균일하게 분포된 점들로 선형 보간한다.
• 다양한 랜덤 시드를 사용한 복수의 반복 실험을 통해 통계적 안정성을 확보하기 위해, 이 경로를 따라 테스트 손실과 오차를 평가한다.
• 초기화 상태 외에도 중간 학습 반복 단계(t = 16, 256, 1000 등)에서 최종 가중치로의 보간을 확장하여, 시간이 지남에 따라 손실 곡면의 구조 변화를 분석한다.
• OpenLTH에서 제공하는 기본 하이퍼파ram터와 데이터 증강 기법을 사용하여 CIFAR-10에서 ResNet-20과 VGG-16, ImageNet에서 ResNet-50을 사용한다.
• 각 보간 경로를 따라 손실과 오차의 최대 증가량을 측정하여 장벽 존재 여부를 탐지한다.
• 계산 비용이 너무 높아 전체 ImageNet 학습 세트를 사용하는 것이 불가능하므로, 주로 테스트 세트 성능에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 Goodfellow 등(2014)이 MNIST에서 관찰한 약간의 볼록성 있고 단조 감소하는 손실 행동이, CIFAR-10과 ImageNet에서 학습된 현대 네트워크로 일반화되는가?
• RQ2 초기화 상태에서가 아니라 중간 학습 단계에서의 점들로부터 보간할 경우 손실 곡면은 어떻게 변화하는가?
• RQ3 학습 과정에서 현재 네트워크 상태와 최종 학습된 가중치 사이에 손실 장벽이 처음으로 나타나는 시점은 언제인가?
• RQ4 초기화 상태 근처에서 관찰되는 손실 곡면의 단순성은 일반적인 성질인지, 아니면 아직 학습되지 않은 네트워크의 성능이 열악하기 때문에 특수한 경우인가?

주요 결과

• MNIST에서는 Goodfellow 등(2014)의 원래 결과가 확인된다: 초기화에서 최종 가중치로의 선형 경로를 따라 손실이 매끄럽고 단조 감소하며, 심각한 장벽이 없이 나타난다.
• CIFAR-10에서 VGG-16과 ResNet-20를 사용한 경우, 초기화에서 최종 가중치로의 대부분의 경로 동안 손실은 높고 거의 일정하며, 최종적으로만 급격히 감소하여 약간의 볼록성이 결여되어 있음을 시사한다.
• ImageNet에서 ResNet-50을 사용한 경우, 최종 가중치에 매우 가까워지기 전까지는 경로를 따라 손실 감소가 감지되지 않아, 최적화에 있어 경로가 정보를 제공하지 못함을 시사한다.
• 모든 대규모 설정에서, VGG-16과 ResNet-20의 경우 약 16번째 반복, ResNet-50의 경우 약 256번째 반복에 이르러 손실 장벽이 이미 나타나며, 이는 학습이 시작된 지 얼마 안 되어 최적 상태가 선형적으로 접근 불가능해짐을 의미한다.
• VGG-16의 경우 약 8,000회 반복, ResNet-20의 경우 약 2,000회 반복, ResNet-50의 경우 약 50,000회 반복 후에 손실 장벽이 사라지며, 이는 학습 후반부에 최적 상태가 다시 선형적으로 접근 가능해짐을 시사한다.
• 결과적으로, Goodfellow 등(2014)에서 관찰된 행동은 MNIST 설정에 특화된 것이며 현대의 대규모 딥러닝 작업으로 일반화되지 않는다.