[논문 리뷰] Capacity Control of ReLU Neural Networks by Basis-path Norm

Shuxin Zheng, Qi Meng외 4명|arXiv (Cornell University)|2018. 09. 19.

Machine Learning and ELM참고 문헌 25인용 수 5

한 줄 요약

이 논문은 ReLU 신경망을 위한 새로운 용량 측정법인 기저경로 노름(Basis-path Norm, BP 노름)을 소개한다. 이는 모든 경로가 아니라 선형 독립적인 기저경로의 최소 집합을 사용하여 모델 복잡도를 측정한다. 이 노름을 손실 함수에 정규화함으로써 제안된 기저경로 정규화(Basis-path Regularization, BPR) 방법은 이미지 분류 및 추천 작업 전반에서 일반화 성능을 크게 향상시켜 표준 가중치 감소 및 경로 노름 기반 방법을 능가한다.

ABSTRACT

Recently, path norm was proposed as a new capacity measure for neural networks with Rectified Linear Unit (ReLU) activation function, which takes the rescaling-invariant property of ReLU into account. It has been shown that the generalization error bound in terms of the path norm explains the empirical generalization behaviors of the ReLU neural networks better than that of other capacity measures. Moreover, optimization algorithms which take path norm as the regularization term to the loss function, like Path-SGD, have been shown to achieve better generalization performance. However, the path norm counts the values of all paths, and hence the capacity measure based on path norm could be improperly influenced by the dependency among different paths. It is also known that each path of a ReLU network can be represented by a small group of linearly independent basis paths with multiplication and division operation, which indicates that the generalization behavior of the network only depends on only a few basis paths. Motivated by this, we propose a new norm \emph{Basis-path Norm} based on a group of linearly independent paths to measure the capacity of neural networks more accurately. We establish a generalization error bound based on this basis path norm, and show it explains the generalization behaviors of ReLU networks more accurately than previous capacity measures via extensive experiments. In addition, we develop optimization algorithms which minimize the empirical risk regularized by the basis-path norm. Our experiments on benchmark datasets demonstrate that the proposed regularization method achieves clearly better performance on the test set than the previous regularization approaches.

연구 동기 및 목표

• 경로 의존성으로 인해 경로 노름이 ReLU 네트워크 용량을 측정하는 데 한계를 가진다는 문제를 해결하기 위해.
• 선형 독립적인 기저경로의 최소 집합에 초점을 맞춰 더 정확한 용량 측정법을 개발하기 위해.
• 기저경로 노름을 기반으로 한 일반화 오차 경계를 수립하여 실제 일반화 갭을 더 잘 반영하도록 하기 위해.
• 시험 성능을 향상시키는 새로운 정규화 방법인 기저경로 정규화(Basis-path Regularization, BPR)를 설계하기 위해.
• 다양한 아키텍처와 데이터셋(예: ResNet 및 MLP 기반 추천 시스템 포함)에서 BPR의 효과를 검증하기 위해.

제안 방법

• 논문은 모든 다른 경로를 곱셈 및 나눗셈 연산을 통해 표현할 수 있는 최소한의 선형 독립 경로 집합으로서 기저경로를 정의한다.
• 기저경로는 경로 표현에서의 계수에 따라 양성 및 음성 유형으로 분류된다.
• 기저경로 노름은 양성 및 음성 기저경로의 크기를 제어하여 파생 경로의 크기가 작아지도록 구성된다.
• 기저경로 노름을 기반으로 일반화 오차 경계를 증명하였으며, 이는 표준 경로 노름보다 경로 의존성을 더 정확히 반영한다.
• 제안된 기저경로 정규화(Basis-path Regularization, BPR) 방법은 경험적 위험에 BP 노름을 패널티 항으로 추가하며, 그리드 서치를 통한 초모수 튜닝을 수행한다.
• 표준 메트릭(예: HR@10, NDCG@10, 테스트 오차율)을 사용하여 이미지 분류(CIFAR-10, ResNet 및 PlainNet) 및 추천(MovieLens) 작업에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 기저경로 기반 용량 측정법이 표준 경로 노름보다 실제 일반화 갭을 더 잘 반영하는가?
• RQ2 기저경로 노름을 사용한 정규화가 다양한 네트워크 아키텍처와 데이터셋에서 일반화 성능을 향상시키는가?
• RQ3 네트워크 깊이와 너비가 증가함에 따라 기저경로 노름 경계가 일반화 행동을 포괄하는 데 다른 용량 측정법보다 나은가?
• RQ4 SGD나 Q-SGD와 같은 최적화 알고리즘과 기저경로 정규화를 조합하면 표준 가중치 감소 또는 Path-SGD보다 더 높은 테스트 정확도를 달성하는가?
• RQ5 BPR로 인한 일반화 향상 효과가 레이블 무작위성 및 모델 복잡도 수준의 변화에 관계없이 일관되게 유지되는가?

주요 결과

• 표준 SGD에 가중치 감소를 적용한 것과 비교해, PlainNet34에서는 테스트 오차율이 1.8%p 개선되었고, ResNet34에서는 1.5%p 개선되었다.
• MovieLens 추천 데이터셋에서, BPR은 모든 예측 인자 설정에서 HR@10 및 NDCG@10 모두에서 모든 베이스라인 방법을 일관되게 능가했다.
• 기저경로 노름 기반 일반화 오차 경계는 네트워크 깊이와 너비가 변화함에 따라 실제 일반화 갭과 일관되게 유지되며, 반면 표준 경로 노름 경계는 네트워크 크기가 증가함에 따라 성능이 떨어진다.
• Q-SGD와 기저경로 정규화의 조합은 ResNet34와 PlainNet34 양쪽에서 가장 높은 테스트 정확도를 달성했으며, ResNet34에서는 테스트 오차율 5.33%를 기록하여 기준 7.12%를 뛰어넘었다.
• BPR로 학습하면, 훈련 손실과 테스트 손실이 유사한 상황에서도 훈련 및 테스트 오차 간격이 일관되게 유지되며 최적화 과정에서 더 좋은 일반화 점에 도달함을 확인할 수 있었다.
• 기저경로 노름은 경로 의존성을 효과적으로 제어하며, 더 깊고 넓은 네트워크에서 이론적 경계와 실제 일반화 갭 간의 맞춤함이 향상됨을 보여주었다.