[논문 리뷰] Rethinking generalization requires revisiting old ideas: statistical mechanics approaches and complex learning behavior

Charles H. Martin, Michael W. Mahoney|arXiv (Cornell University)|2017. 10. 26.

Neural Networks and Applications참고 문헌 93인용 수 29

한 줄 요약

이 논문은 통계역학 원리를 재고함으로써 딥 뉴럴 네트워크의 일반화를 재고한다. 정규화가 있음에도 불구하고 과적합이 발생하는 이유를 설명하기 위해 효과적 데이터 부하와 온도라는 두 가지 파rameter를 가진 모델을 제안한다. 이 모델은 소음과 조기 정지가 과적합 상태로 이르는 상전이를 유도함으로써, 기존의 용량 제어 이론이 실패하는 이유를 설명한다.

ABSTRACT

We describe an approach to understand the peculiar and counterintuitive generalization properties of deep neural networks. The approach involves going beyond worst-case theoretical capacity control frameworks that have been popular in machine learning in recent years to revisit old ideas in the statistical mechanics of neural networks. Within this approach, we present a prototypical Very Simple Deep Learning (VSDL) model, whose behavior is controlled by two control parameters, one describing an effective amount of data, or load, on the network (that decreases when noise is added to the input), and one with an effective temperature interpretation (that increases when algorithms are early stopped). Using this model, we describe how a very simple application of ideas from the statistical mechanics theory of generalization provides a strong qualitative description of recently-observed empirical results regarding the inability of deep neural networks not to overfit training data, discontinuous learning and sharp transitions in the generalization properties of learning algorithms, etc.

연구 동기 및 목표

• 딥 뉴럴 네트워크가 정규화가 있음에도 불구하고 노이즈가 많은 데이터로 과적합하는 역설을 해결하고, 고전적 PAC/VC 이론의 가정에 도전한다.
• 드롭아웃과 웨이트 디레이크와 같은 인기 있는 정규화 기법이 현대 DNN에서 과적합을 방지하지 못하는 이유를 설명한다.
• 딥 러닝의 일반화 행동이 용량 기반의 경계가 아니라 통계역학의 상전이를 통해 이해될 수 있음을 보여준다.
• 효과적 데이터 부하와 온도라는 두 가지 제어 변수를 가진 최소한의 모델(VSDL)을 제안하여 DNN의 핵심 경험적 행동을 포괄한다.
• 딥 러닝에서 고전적 일반화 이론의 실패가 통계역학 프레임워크를 재고할 필요가 있음을 주장한다.

제안 방법

• 효과적 데이터 부하(α = m/N)와 효과적 온도(τ)라는 두 가지 제어 변수를 가진 매우 단순한 딥 러닝(VSDL) 모델을 제안한다. 이 두 변수는 모두 운영적으로 조절 가능하다.
• 통계역학을 사용하여 신경망의 에너지 표면을 모델링하고, 일반화 단계(높은 α)와 과적합(스핀글라스) 단계(낮은 α)의 두 단계를 식별한다.
• 라벨 노이즈가 부하 변수 α에 미치는 영향을 분석하여, 라벨의 상당 부분을 무작위화할 경우(예: 10%) α가 감소하고 네트워크가 과적합 단계로 이르게 된다고 보여준다.
• 평균장 스핀글라스 이론을 적용하여 손실 표면의 병리적인 비볼록성(무한히 많은 일치하는 국소 최소값이 고에너지 장벽에 의해 분리됨)을 설명한다.
• 조기 정지가 효과적 온도 τ를 증가시켜 시스템을 과적합 단계에서 벗어나 일반화 단계로 이동시킴으로써, 조기 정지가 강력한 정규화 효과를 가지는 이유를 설명한다.
• 라데마처 복잡도(노이즈 피팅 정도를 측정)를 에너지 표면과 연결하여, 높은 복잡도는 일반화가 붕괴되는 스핀글라스 단계와 대응함을 보여준다.

실험 결과

연구 질문

• RQ1 왜 딥 뉴럴 네트워크는 라벨이 무작위로 손상된 경우에도 과적합하는가? 이는 고전적 일반화 이론과 배치된다.
• RQ2 왜 조기 정지는 다른 방법들(웨이트 디레이크, 드롭아웃 등)이 실패하는 상황에서 강력한 정규화 효과를 가지는가?
• RQ3 딥 네트워크의 손실 표면이 일반화 단계와 과적합 단계 사이에서 상전이를 겪는 방식은 어떻게 이해할 수 있는가?
• RQ4 효과적 부하 변수(α = m/N)는 네트워크가 일반화하는지 또는 기억하는지를 결정하는 데 어떤 역할을 하는가?
• RQ5 스핀글라스 단계와 온도 유사 변수와 같은 통계역학 개념이 경험적으로 관찰되는 일반화의 불연속적 행동을 어떻게 설명하는가?

주요 결과

• 딥 뉴럴 네트워크는 높은 노이즈 수준이 있음에도 불구하고 무작위 라벨에 과적합할 수 있으며, 이는 고전적 용량 기반 일반화 경계에 의해 제약을 받지 않는다는 것을 시사한다.
• 드롭아웃, 웨이트 디레이크, 입력 노이즈와 같은 정규화 기법은 라벨 손상으로 인해 네트워크가 스핀글라스 단계로 이동할 경우 과적합을 방지하지 못한다.
• 조기 정지는 효과적 온도 τ를 증가시켜 시스템을 과적합(스핀글라스) 단계에서 벗어나게 하므로 강력한 정규화 효과를 가지며, 이는 이론적 근거를 지닌다.
• 낮은 효과적 데이터 부하(α)에서 상전이가 발생하며, 이로 인해 손실 표면이 매우 비볼록적이 되고, 고에너지 장벽에 의해 분리된 무한히 많은 일치하는 국소 최소값이 생긴다.
• 스핀글라스 단계는 일반화가 실패하는 병리적인 과적합 상태이며, 이 단계는 표준 정규화에 대해 강건하여 고전적 방법의 경험적 실패를 설명한다.
• 라데마처 복잡도와 에너지 표면 간의 연결은 높은 복잡도가 무작위 노이즈를 피팅하는 데 에너지적으로 유리한 손실 표면을 의미함을 보여주며, 이는 기억 현상과 경험적 관찰과 일치한다.