[논문 리뷰] Degrees of Freedom in Deep Neural Networks

Tianxiang Gao, Vladimir Jojic|arXiv (Cornell University)|2016. 03. 30.

Machine Learning and Algorithms참고 문헌 16인용 수 5

한 줄 요약

이 논문은 깊은 시그모이드 신경망에서 자유도(DoF)를 추정하기 위한 효율적인 몬테카를로 방법을 제안하며, 암묵적 정규화로 인해 DoF가 매개변수 수보다 크게 낮음을 보여준다. 특히 깊이 있는 네트워크에서 그러한 경향이 두드러진다. 이 방법을 통해 교차검증 성능을 훨씬 낮은 계산 비용으로 재현하는 새로운 모델 선택 기준 DoFAIC를 도입한다.

ABSTRACT

In this paper, we explore degrees of freedom in deep sigmoidal neural networks. We show that the degrees of freedom in these models is related to the expected optimism, which is the expected difference between test error and training error. We provide an efficient Monte-Carlo method to estimate the degrees of freedom for multi-class classification methods. We show degrees of freedom are lower than the parameter count in a simple XOR network. We extend these results to neural nets trained on synthetic and real data, and investigate impact of network's architecture and different regularization choices. The degrees of freedom in deep networks are dramatically smaller than the number of parameters, in some real datasets several orders of magnitude. Further, we observe that for fixed number of parameters, deeper networks have less degrees of freedom exhibiting a regularization-by-depth.

연구 동기 및 목표

• 분류 작업을 위한 깊은 신경망에서 자유도를 추정하는 효율적인 방법을 개발하는 것.
• 네트워크 아키텍처와 정규화 기법이 자유도로 측정된 모델 복잡도에 미치는 영향을 조사하는 것.
• 자유도가 교차검증과 비교해 계산 비용이 낮으면서도 신뢰할 수 있는 모델 선택 기준으로 사용될 수 있는지 평가하는 것.
• 깊은 네트워크에서 자유도가 총 매개변수 수보다 크게 낮다는 것을 입증하는 것, 특히 깊이 있는 아키텍처에서 그러한 경향이 두드러진다.
• 제안된 DoFAIC 기준이 k-폴드 교차검증과 비교해 실용적이고 저비용으로 작동하는지 검증하는 것.

제안 방법

• 다중 클래스 분류에 적용 가능한 다항 로지스틱 회귀에 대해 에프론의 자유도 추정 프레임워크를 확장하여 깊은 네트워크의 자유도 추정에 적용한다.
• 학습 데이터의 변동에 대한 출력 민감도를 측정함으로써 자유도를 추정하는 몬테카를로 알고리즘을 제안하며, 최대 한 번의 추가 순전파만 필요하다.
• 기대 과도성(시험 오차와 학습 오차의 차이)을 자유도의 대체 지표로 사용하여 모델 복잡도와 연결한다.
• 합성 데이터 및 실제 데이터(MNIST, CIFAR-10)를 사용해 깊이, 너비, 정규화 방법을 변화시켜 피드포워드 시그모이드 네트워크에 적용한다.
• 자유도 추정치를 AIC의 매개변수 수로 대체하여 DoFAIC를 유도함으로써 효율적인 모델 선택을 가능하게 한다.
• 모델당 한 개의 몬테카를로 샘플을 사용해 자유도를 추정함으로써 정확도와 계산 비용의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 깊은 신경망의 자유도는 네트워크의 깊이와 너비에 따라 어떻게 변화하는가?
• RQ2 드롭아웃, 가중치 감쇠, 입력 손상과 같은 정규화 기법이 효과적 자유도에 어떤 영향을 미치는가?
• RQ3 자유도를 사용해 교차검증 성능를 낮은 계산 비용으로 재현하는 모델 선택 기준을 구성할 수 있는가?
• RQ4 깊은 네트워크에서 자유도가 총 매개변수 수보다 크게 낮은가, 만약 그렇다면 얼마나 낮은가?
• RQ5 DoFAIC 기준은 표준 AIC와 교차검증에 비해 최적의 네트워크 아키텍처를 선택하는 데 어떻게 비교되는가?

주요 결과

• 깊은 시그모이드 네트워크의 자유도는 총 매개변수 수보다 크게 낮으며, 일부 실제 데이터셋에서는 매개변수 수가 자유도보다 수개의 자리수 더 큰 경우가 관찰되었다.
• 같은 수의 매개변수를 가진 경우 더 깊은 네트워크가 얕은 네트워크보다 자유도가 적은 것으로 나타나, 깊이에 의한 정규화 효과가 입증되었다.
• 가중치 감쇠는 깊은 네트워크에서 자유도 감소에 비선형적이고 강력한 영향을 미치며, 릿지 회귀에서 관찰되는 선형 스케일링과는 대조된다.
• 시험한 모든 데이터셋에서 DoFAIC는 5-폴드 교차검증 오차와 거의 완벽한 스피어만 순위 상관관계(ρ > 0.98)를 보였으며, Naïve AIC는 모델 복잡도를 과도하게 추정해 음의 상관관계를 보였다.
• 모든 데이터셋에서 DoFAIC는 교차검증과 동일한 최적 모델을 선택했으며, 이는 그 신뢰성과 효율성을 확인하는 데 기여했다.
• 이 방법은 모델당 최대 두 번의 학습 실행(원본 데이터와 변동된 데이터)만 필요로 하여, 최대 k번의 학습 실행을 요구하는 k-폴드 교차검증보다 훨씬 효율적이다.