[논문 리뷰] Rethinking Parameter Counting in Deep Models: Effective Dimensionality Revisited

Wesley J. Maddox, Gregory W. Benton외 1명|arXiv (Cornell University)|2020. 03. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 62인용 수 28

한 줄 요약

이 논문은 딥 러닝에서 모델 복잡도와 일반화를 위한 보다 우수한 대체 측정 기준으로 효과적 차원(Effective Dimensionality)을 제안한다. 기존의 단순한 파라미터 수 계산 방식을 대체하며, 훈련 데이터의 헤시안 행렬 고유스pektr럼을 분석함으로써 효과적 차원이 파라미터 수나 평탄도 기반 측정법보다 테스트 성능을 더 잘 추적함을 보여준다. 이는 더블 디센션(double descent) 현상과 깊이가 넓이보다 일반화에 유리한 이유를 설명한다.

ABSTRACT

Neural networks appear to have mysterious generalization properties when using parameter counting as a proxy for complexity. Indeed, neural networks often have many more parameters than there are data points, yet still provide good generalization performance. Moreover, when we measure generalization as a function of parameters, we see double descent behaviour, where the test error decreases, increases, and then again decreases. We show that many of these properties become understandable when viewed through the lens of effective dimensionality, which measures the dimensionality of the parameter space determined by the data. We relate effective dimensionality to posterior contraction in Bayesian deep learning, model selection, width-depth tradeoffs, double descent, and functional diversity in loss surfaces, leading to a richer understanding of the interplay between parameters and functions in deep models. We also show that effective dimensionality compares favourably to alternative norm- and flatness- based generalization measures.

연구 동기 및 목표

• 딥 네트워크에서 모델 복잡도와 일반화를 위한 파라미터 수 계산의 한계를 해결하기 위해.
• 과도하게 파라미터가 많은 모델이 훈련 샘플 수보다 훨씬 많음에도 불구하고 잘 일반화되는 이유를 설명하기 위해, 특히 더블 디센션의 맥락에서.
• 베이지안 사후 수축과 손실 표면 기하학과의 연결을 통해 효과적 차원을 더 유의미한 모델 용량 측정 기준으로 설정하기 위해.
• 깊이가 더 많은 파라미터를 가진 상태에서도 효과적 차원을 감소시켜 데이터 압축과 일반화를 향상시키므로, 깊이가 넓이보다 더 나은 성능을 내는 이유를 설명하기 위해.
• 기존의 일반화 측정법인 경로 노름(Path-norm)과 PAC-베이지안 평탄도와의 비교를 통해 효과적 차원이 더 뛰어난 정확성과 해석 가능성과 함께 타당성을 입증하기 위해.

제안 방법

• 훈련 손실의 헤시안 행렬의 추적(trace)를 최대 고유값으로 나누어 파arameter 공간 내 주요 곡률 방향의 수를 캡처하는 효과적 차원을 계산한다.
• 훈련 데이터의 헤시안 고유스펙트럼을 사용하여 효과적 차원을 추정함으로써, 테스트 데이터나 전체 사후 분포 샘플링에 의존하지 않는다.
• 효과적 차원을 베이지안 신경망의 사후 분산과 연관지어, 사후 분포가 수축한 영역의 차원을 측정함을 보여준다.
• 헤시안 고유벡터를 통해 파rameter 공간 내 열악한 방향(degenerate directions)을 분석하고, 과도하게 파라미터가 많은 모델에서 훈련 및 테스트 입력 모두에 대해 함수 공간의 균일성(function-space homogeneity)을 입증한다.
• 경로 노름에 로그 변환을 적용하여 일반화와의 상관관계를 향상시키지만, 효과적 차원에 비해 모델 크기에 민감하고 해석 가능성에 떨어지므로 여전히 열등함을 보여준다.
• 효과적 차원과 PAC-베이지안 평탄도 측정법을 비교하여, 효과적 차원은 평탄한 방향을 세는 데 반해, PAC-베이즈는 분지의 크기를 측정하므로 모델 크가 증가함에 따라 행동이 다름을 강조한다.

실험 결과

연구 질문

• RQ1 훈련 샘플 수보다 훨씬 많은 파라미터를 가진 과도하게 파라미터가 많은 딥 네트워크가 왜 잘 일반화되는가?
• RQ2 모델 너비에 따라 일반화 오차에서 발생하는 더블 디센션 현상이 효과적 차원으로 어떻게 설명되는가?
• RQ3 동일한 파라미터 수를 가진 경우, 깊이가 너비에 비해 효과적 차원을 얼마나 줄이고 일반화 성능을 향상시키는가?
• RQ4 효과적 차원이 베이지안 딥 러닝에서 사후 수축과 모델 압축과 어떻게 관련되어 있는가?
• RQ5 왜 평탄도 기반 및 노름 기반 일반화 측정법은 모델 크기가 변할 때 일관되게 일반화 성능과 상관관계를 가지지 못하는가?

주요 결과

• 훈련 손실의 헤시안에서 계산된 효과적 차원은 과도하게 파라미터가 많은 영역에서 테스트 오차를 잘 추적하며, 더블 디센션 행동을 설명한다.
• 넓지만 얕은 모델은 높은 효과적 차원을 보이며 일반화 성능이 열악한 반면, 더 깊은 모델은 유사한 파라미터 수를 가진 상태에서도 낮은 효과적 차원을 달성하고 더 나은 성능을 내며 일반화한다.
• 근사적으로 0에 가까운 훈련 손실을 가진 모델에서는 효과적 차원이 일반화를 강력하게 예측하며, 파라미터 수나 경로 노름보다 뛰어나다.
• 과도하게 파라미터가 많은 네트워크에서는 훈련 및 테스트 데이터에 대한 예측을 변화시키지 않는 파arameter 공간 내 열악한 방향이 존재하며, 이는 기능적 균일성(functional homogeneity)을 나타낸다.
• 베이지안 신경망에서 효과적 차원은 사후 분산에 반비례하며, 사후 수축 영역의 차원을 정량화한다.
• PAC-베이지안 평탄도 측정법은 모델 크가 증가함에 따라 증가하고 일반화와 반비례하지만, 효과적 차원은 안정적이고 정보를 잘 담고 있다.