[논문 리뷰] On the Generalization Error Bounds of Neural Networks under Diversity-Inducing Mutual Angular Regularization

Pengtao Xie, Yuntian Deng외 1명|arXiv (Cornell University)|2015. 11. 23.

Neural Networks and Applications참고 문헌 52인용 수 23

한 줄 요약

이 논문은 상호 각도 정규화(MAR-NN)를 사용한 다각도적 신경망을 제안하여 추정 오차와 근사 오차를 균형 있게 조절함으로써 일반화 성능을 향상시킨다. 이론적 분석은 은닉 유닛의 다양성이 증가할수록 추정 오차는 감소하지만 근사 오차는 증가하며, 최적의 일반화 성능은 균형 잡힌 다양성 수준에서 달성된다는 것을 보여주며, 이는 상당한 정확도 향상을 보인 신경망에서 경험적으로도 검증되었다.

ABSTRACT

Recently diversity-inducing regularization methods for latent variable models (LVMs), which encourage the components in LVMs to be diverse, have been studied to address several issues involved in latent variable modeling: (1) how to capture long-tail patterns underlying data; (2) how to reduce model complexity without sacrificing expressivity; (3) how to improve the interpretability of learned patterns. While the effectiveness of diversity-inducing regularizers such as the mutual angular regularizer has been demonstrated empirically, a rigorous theoretical analysis of them is still missing. In this paper, we aim to bridge this gap and analyze how the mutual angular regularizer (MAR) affects the generalization performance of supervised LVMs. We use neural network (NN) as a model instance to carry out the study and the analysis shows that increasing the diversity of hidden units in NN would reduce estimation error and increase approximation error. In addition to theoretical analysis, we also present empirical study which demonstrates that the MAR can greatly improve the performance of NN and the empirical observations are in accordance with the theoretical analysis.

연구 동기 및 목표

• 서로 다른 유닛을 유도하는 정규화, 특히 상호 각도 정규화(MAR)가 신경망의 일반화 성능에 미치는 영향을 이론적으로 분석하는 것.
• 잠재 변수 모델에서 다양성을 증진하는 정규화 기법의 경험적 성공 배경에 대한 엄밀한 이론적 이해 부족 문제를 해결하는 것.
• 신경망에서 은닉 유닛의 다양성에 따라 추정 오차와 근사 오차 사이의 상충 관계를 규명하는 것.
• 이론적 결과를 다양한 정규화 강도(λ)에서의 신경망 성능에 대한 경험적 실험을 통해 검증하는 것.

제안 방법

• 은닉 유닛 가중치 벡터 간의 각도가 작아지지 않도록 정규화 항을 부여함으로써 다양성을 강제하는 상호 각도 정규화(MAR-NN)를 적용한 다각도적 신경망 아키텍처를 도입한다.
• 일반화 오차를 추정 오차와 근사 오차 성분으로 분해하는 이론적 프레임워크를 사용하여 은닉 유닛의 다양성 수준에 따른 이 둘의 의존성을 분석한다.
• 추정 오차와 근사 오차의 경계를 유도하여 다양성이 증가할수록 추정 오차는 감소하고 근사 오차는 증가함을 보여준다.
• 분류 작업에서 MAR-NN을 경험적으로 평가하여 정규화 강도(λ)를 변화시킨 다양한 표준 신경망과 성능을 비교한다.
• 전반적인 일반화 오차를 최소화하는 데 최적의 다양성 수준을 도출하기 위해 정규화 하이퍼파rameter λ를 최적화한다.

실험 결과

연구 질문

• RQ1 상호 각도 정규화는 신경망의 추정 오차와 근사 오차에 어떻게 영향을 미치는가?
• RQ2 은닉 유닛의 다양성이 증가함에 따라 추정 오차와 근사 오차 사이의 상충 관계는 어떻게 변화하는가?
• RQ3 전반적인 일반화 오차를 최소화하는 데 최적의 다양성 수준을 특정할 수 있는가?
• RQ4 최적의 다양성 수준에서 일반화 성능 향상이라는 이론적 예측이 실제로도 성립하는가?

주요 결과

• 신경망의 은닉 유닛 다양성을 높일수록 추정 오차 경계는 감소하고 근사 오차 경계는 증가한다.
• 전반적인 일반화 오차는 은닉 유닛의 다양성이 최적의 값으로 설정되었을 때 최소가 되며, 이는 추정 오차와 근사 오차 사이의 상충 관계를 균형 잡는 데서 비롯된다.
• 경험적 결과는 MAR-NN이 200개의 유닛을 가진 신경망에서 비정규화된 경우 약 0.415에서 0.45로 테스트 정확도를 향상시킨다는 것을 보여주며, 뚜렷한 성능 향상을 입증한다.
• 최적의 정규화 강도 λ=0.01에서 가장 높은 정확도를 달성하였으며, 이는 이론적 예측에 따르면 최적의 다양성 수준에서 일반화 성능이 최적화된다는 것을 뒷받침한다.
• 경험적 관찰 결과는 이론적 분석과 일치하며, MAR을 통한 다양성 제어가 일반화 성능 향상에 기여한다는 것을 확인한다.