[논문 리뷰] Loss Patterns of Neural Networks

Ivan Skorokhodov, Mikhail Burtsev|arXiv (Cornell University)|2019. 10. 09.

Advanced Neural Network Applications참고 문헌 9인용 수 13

한 줄 요약

이 논문은 다중점 최적화(MPO)를 소개하며, 이는 저차원의 가중치 벡터 다양체를 최적화하여 동시에 여러 신경망 모델을 훈련시키는 메모리 효율적인 방법이다. 이를 통해 손실 표면의 세밀한 경험적 분석이 가능해진다. 주요 발견은 신경망 손실 표면이 매우 복잡하고 다양하며, 배치 정규화가 표면을 상당히 매끄럽게 한다는 점으로, 무작위 이진 패턴에 대한 피팅 품질 저하로 이를 뒷받침한다.

ABSTRACT

We present multi-point optimization: an optimization technique that allows to train several models simultaneously without the need to keep the parameters of each one individually. The proposed method is used for a thorough empirical analysis of the loss landscape of neural networks. By extensive experiments on FashionMNIST and CIFAR10 datasets we demonstrate two things: 1) loss surface is surprisingly diverse and intricate in terms of landscape patterns it contains, and 2) adding batch normalization makes it more smooth. Source code to reproduce all the reported results is available on GitHub: https://github.com/universome/loss-patterns.

연구 동기 및 목표

• 신경망의 다양한 손실 표면 패턴을 탐색하기 위한 메모리 효율적인 방법을 개발하는 것.
• 신경망 손실 표면의 구조적 복잡성과 매끄러움을 경험적으로 분석하는 것.
• 배치 정규화가 손실 표면 정규성에 미치는 영향을 조사하는 것.
• 개별 모델 가중치를 저장하지 않고도 손실 표면의 대규모 시각화를 가능하게 하는 것.

제안 방법

• MPO는 높은 차원의 가중치 공간 내에서 저차원의 다양체(예: 2차원 평면)를 최적화하여, 각 모델의 가중치를 개별적으로 최적화하는 대신, 작은 변수 집합 θ로 매개변수화된 방식을 사용한다.
• 이 방법은 K개의 가중치 벡터를 다양체 상에 배열하여 원하는 2차원 패턴(예: 이진 이미지)을 형성하며, 손실 값은 픽셀 색상에 매핑된다.
• 손실 함수를 최소화하여 다양체의 미분 가능한 매개변수화를 통해 가중치 벡터가 목표 패턴의 손실 값과 일치하도록 최적화한다.
• 이러한 접근은 동일한 다양체 상에서 여러 모델을 동시에 훈련시킬 수 있어, 기존 훈련 방식에 비해 메모리 사용을 크게 줄인다.
• 핵심 기여는 손실 표면 상에서 특정 공간 패턴을 형성하도록 가중치 벡터를 강제하는 제약 가족을 사용하여, 타겟된 탐색을 가능하게 한 점이다.
• 배치 정규화의 매개변수화와의 불일치 문제를 해결하기 위해, 부록 C에 자세히 기술된 소규모 기술적 보완 조치를 적용한다.

실험 결과

연구 질문

• RQ1 신경망 가중치 공간에서 복잡하고 다양한 손실 표면 패턴을 체계적으로 발견할 수 있는가?
• RQ2 손실 표면의 구조적 복잡성은 다양한 데이터셋과 아키텍처 간에 어떻게 달라지는가?
• RQ3 배치 정규화는 손실 표면의 정규성에 어느 정도 정규화 및 매끄럽게 하는가?
• RQ4 개별 모델 가중치를 저장하지 않고도 단일 최적화 절차로 다수의 매개변수 공간 점을 효율적으로 탐색할 수 있는가?

주요 결과

• 신경망의 손실 표면은 매우 복잡하고 다양한 패턴을 포함하고 있으며, 패턴의 복잡성과 비균일성은 FashionMNIST와 CIFAR10에서 다양한 이진 패턴에 대한 성공적인 피팅을 통해 입증되었다.
• 손실 표면의 다양성은 경험적 손실이 아닌 전체 리스크 기능의 성질이며, 훈련 세트에서 발견된 패턴이 테스트 세트와 유사하게 나타남으로써 이를 뒷받침한다.
• 배치 정규화가 없는 모델은 랜덤 이진 패턴(예: 0.5의 충전 확률)을 높은 정확도로 피팅할 수 있었으며, 이는 매우 불규칙하고 복잡한 표면을 의미한다.
• 배치 정규화가 적용된 모델는 동일한 복잡한 패턴에서 피팅 정확도가 현저히 낮게 나타나, 더 매끄럽고 규칙적인 손실 표면임을 시사한다.
• 배치 정규화가 없는 모델에서는 검은 색 픽셀과 흰 색 픽셀 간 평균 정확도 차이가 항상 더 컸으며, 이는 표면의 불규칙성을 증가시키는 역할을 함을 확인한다.
• 테스트 세트에서 더 높은 정확도를 달성했음에도 불구하고, 배치 정규화가 적용된 모델는 임의의 패턴을 따르는 데서 더 낮은 능력을 보였으며, 이는 더 향상된 매끄러움을 뒷받침하는 추가적 증거이다.