[논문 리뷰] Norm-Based Capacity Control in Neural Networks

Behnam Neyshabur, Ryota Tomioka외 1명|arXiv (Cornell University)|2015. 02. 27.

Machine Learning and ELM참고 문헌 5인용 수 76

한 줄 요약

이 논문은 피드포워드 신경망을 위한 일반적인 노름 기반 정규화 프레임워크를 제안하며, 그룹-노름 정규화를 통해 네트워크 크기와 무관한 용량 제어를 가능하게 한다. 이는 오직 특정한 노름—각 유닛의 ℓ₁ 또는 전체의 ℓ₂—만이 그러한 제어를 가능하게 한다는 것을 보여준다. 또한, 노름 정규화가 적용된 상황에서도 깊이가 일반화 경계에 필수적인 지수적 의존성을 유도한다는 것을 증명한다.

ABSTRACT

We investigate the capacity, convexity and characterization of a general family of norm-constrained feed-forward networks.

연구 동기 및 목표

• 노름 기반 정규화만으로 네트워크 크기나 깊이에 의존하지 않고 깊이 있는 피드포워드 네트워크의 용량을 제어할 수 있는지 조사하기.
• 노름 기반 정규화가 어떤 조건에서 볼록 가설 클래스를 유도하는지 규명하고, 이로 인한 최적화 및 분석의 용이성에 영향을 분석하기.
• 특히 더 깊은 네트워크에서 네트워크 크기와 무관한 용량 제어가 가능한 조건을 규명하기.
• 다양한 노름 정규화 기법(각 유닛 기반 vs. 전체 기반) 간의 관계와 일반화 및 표현력에 미치는 영향을 분석하기.
• 딥 러닝 모델에서 깊이, 노름 제약, 일반화 오차 사이의 본질적 상충 관계를 이해하기.

제안 방법

• 각 유닛 내부의 가중치에 대한 ℓp 노름과 유닛 간의 ℓq 노름을 조합한 통합된 그룹-노름 정규화 프레임워크 제안: 각 유닛 기반 및 전체 기반 정규화를 일반화한다.
• Rademacher 복잡도를 사용하여 도출된 가설 클래스를 분석하여 일반화 오차를 경계하며, 노름 제약과 네트워크 깊이 간의 상호작용을 중점적으로 고려한다.
• 각 유닛의 ℓ₁ 정규화와 새로운 경로 기반 정규화 기법 간의 연결을 설정하여 가중치 노름 제약의 새로운 해석을 제공한다.
• 두 층 네트워크에서 전체 ℓ₂ 정규화가 볼록 신경망(Bengio 등, 2005)과 동치임을 보여주며 기존 볼록 최적화 프레임워크와 연결한다.
• 귀납적 추론과 반례를 사용하여 ReLU 네트워크에서 노름 제약이 적용된 경우에도 일반화 경계에 깊이에 대한 지수적 의존성이 필수적으로 남아 있음을 보여준다.
• 함수 클래스의 층 간 진화를 분석하기 위해 대칭 볼록 쌍대와 ReLU 활성화 연산을 적용하며, 귀납적 복잡도 경계의 한계를 드러낸다.

실험 결과

연구 질문

• RQ1 노름 기반 정규화만으로 네트워크 크기나 깊이에 대한 명시적 제어 없이 깊이 있는 피드포워드 네트워크의 용량을 제어할 수 있는가?
• RQ2 노름 기반 정규화가 어떤 조건에서 볼록 가설 클래스를 유도하는가? 이는 최적화 및 일반화에 어떤 영향을 미치는가?
• RQ3 p > 1인 각 유닛 기반 ℓp 정규화 또는 p > 2인 전체 기반 ℓp 정규화로도 크기 독립적 용량 제어가 가능한가?
• RQ4 노름 제약 하에서 네트워크의 깊이가 일반화 오차에 어떤 영향을 미치며, 이러한 의존성은 피할 수 있는가?
• RQ5 γ-측도(경로 기반 노름)와 μ-측도(볼록 쌍대 기반 노름) 간의 관계는 무엇이며, 이들은 최적화 동역학에 어떻게 영향을 미치는가?

주요 결과

• 각 유닛의 ℓ₁ 정규화만이 깊은 네트워크에서 크기 독립적 용량 제어를 가능하게 한다.
• 전체 ℓp 정규화는 p ≤ 2일 때에만 크기 독립적 용량 제어가 가능하며, 깊이가 유한하더라도 마찬가지다.
• 전체 ℓ₂ 정규화가 적용된 경우조차도 일반화 오차는 여전히 깊이에 대해 지수적 의존성을 보이며, 이를 피할 수 없다.
• 노름 제약이 가해진 깊은 네트워크에서 유도된 가설 클래스는 특정한 노름 제약 조건—예를 들어 트레이스-노름 또는 최대-노름 유사물—이 있을 때에만 볼록이 된다.
• 대칭 볼록 쌍대 연산 후 ReLU 활성화를 적용하는 것은 Rademacher 복잡도를 증가시킬 수 있으며, 이는 깊이에 대한 지수적 의존성을 피하는 귀납적 추론을 무효화한다.
• 반례를 통해 [볼록 쌍대]₊ 연산이 Rademacher 복잡도를 증가시킴을 보여주며, 일반적인 노름 제약 하에서는 깊이에 의존하는 지수적 팽창이 피할 수 없다는 것을 증명한다.