[논문 리뷰] Some limitations of norm based generalization bounds in deep neural networks.

Konstantinos Pitas, Andreas Loukas외 2명|arXiv (Cornell University)|2019. 05. 23.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 스펙트럴 복잡도를 기반으로 한 딥 컨volution 신경망에 대한 최초의 일반화 한계를 제안하며, 이는 순서 수준으로 더 날카운 한계를 달성한다. 그러나 핵심적인 한계를 드러내는데, 스펙트럴 복잡도는 현대 CNN 내의 불변성을 포착하지 못하며, 이는 아키텍처의 불변성에 민감하지 않게 만들고 일반화에 대한 이론적 신뢰성을 약화시킨다.

ABSTRACT

Deep convolutional neural networks have been shown to be able to fit a labeling over random data while still being able to generalize well on normal datasets. Describing deep convolutional neural network capacity through the measure of spectral complexity has been recently proposed to tackle this apparent paradox. Spectral complexity correlates with GE and can distinguish networks trained on normal and random labels. We propose the first GE bound based on spectral complexity for deep convolutional neural networks and provide tighter bounds by orders of magnitude from the previous estimate. We then investigate theoretically and empirically the insensitivity of spectral complexity to invariances of modern deep convolutional neural networks, and show several limitations of spectral complexity that occur as a result.

연구 동기 및 목표

• 랜덤 레이블을 피팅함에도 불구하고 딥 신경망이 잘 일반화되는 모순을 해결하기 위해 스펙트럴 복잡도를 사용하여 더 날카운 일반화 한계를 제안하는 것.
• 스펙트럴 복잡도가 현대 딥 컨volution 신경망 내에 내재된 인덕티브 편향과 불변성을 정확히 포착하는가를 조사하는 것.
• 스펙트럴 복잡도가 일반화 한계에서 네트워크 용량 측정치로써 이론적 및 실증적 한계를 평가하는 것.

제안 방법

• 가중치 행렬의 특이값에서 유도된 스펙트럴 복잡도를 기반으로 한 딥 컨volution 신경망을 위한 새로운 일반화 한계를 제안한다.
• 실제 레이블과 랜덤 레이블로 훈련된 네트워크에 대해 스펙트럴 복잡도를 실증적으로 평가하여 일반화 성능에 대한 민감도를 평가한다.
• 현대 CNN의 불변성 특성(예: 이동 불변성, 풀링 불변성 등)을 분석하고, 스펙트럴 복잡도가 이러한 구조적 불변성에 어떻게 반응하는지 테스트한다.
• 제안된 스펙트럴 복잡도 한계를 이전의 일반화 한계와 비교하여 순서 수준으로 개선된 날카기의 성과를 보여준다.
• 이론적 분석을 통해 아키텍처의 불변성이 도입되더라도 스펙트럴 복잡도가 감소하지 않음을 보여주며, 이는 용량 감소 측정 능력에 대한 이론적 취약성을 드러낸다.

실험 결과

연구 질문

• RQ1 스펙트럴 복잡도는 이전 방법에 비해 딥 컨volution 신경망에 대해 더 날카운 일반화 한계를 제공할 수 있는가?
• RQ2 스펙트럴 복잡도는 현대 CNN 내의 불변성(예: 가중치 공유, 풀링 등)에 어떻게 반응하는가?
• RQ3 실제 레이블과 랜덤 레이블로 훈련된 네트워크 간의 일반화 차이가 있음에도 불구하고 스펙트럴 복잡도가 이를 구분하지 못하는 이유는 무엇인가?
• RQ4 스펙트럴 복잡도는 딥 CNN의 진정한 인덕티브 편향을 어느 정도 반영하는가?

주요 결과

• 제안된 스펙트럴 복잡도 기반 일반화 한계는 이전 추정치에 비해 상당히 날카롭게 개선되었으며, 순서 수준으로 향상되었다.
• 스펙트럴 복잡도는 가중치 공유 및 풀링과 같은 아키텍처 불변성에 대해 변화하지 않으며, 이러한 기능이 일반화를 향상시키는 데 기여함에도 불구하고 그렇다.
• 스펙트럴 복잡도는 실질적 일반화 성능의 차이가 있음에도 불구하고 실재 레이블과 랜덤 레이블로 훈련된 네트워크를 구분하지 못해, 일반화 행동에 대한 근본적인 민감도 부족을 드러낸다.
• 이론적 분석을 통해 불변성이 도입되더라도 스펙트럴 복잡도가 감소하지 않음을 확인하여, 이는 용량 감소 측정 능력에 대한 이론적 취약성을 암시한다.
• 실증 결과는 스펙트럴 복잡도가 구조적 불변성이 존재하는 상황에서 실제 일반화 성능과 빈약한 상관관계를 보임을 확인한다.