[논문 리뷰] Understanding Generalization in Deep Learning via Tensor Methods

Jingling Li, Yanchao Sun외 3명|arXiv (Cornell University)|2020. 01. 14.

Tensor decomposition and applications참고 문헌 52인용 수 10

한 줄 요약

이 논문은 텐서 분해 방법을 사용하여 딥 러닝에서 일반화를 조사한다. 특히 저랭크 근사에 의한 압축이 모델 성능에 미치는 영향을 분석한다. 연구는 CT 및 CT+CPL과 같은 텐서 기반 방법이 고압축 비율에서도 높은 테스트 정확도(92% 이상)를 유지함을 보여주며, 이는 텐서 분해를 통한 구조적 파rameter 공유가 중요한 표현 능력을 유지함으로써 일반화를 향상시킨다는 것을 시사한다.

ABSTRACT

Deep neural networks generalize well on unseen data though the number of parameters often far exceeds the number of training examples. Recently proposed complexity measures have provided insights to understanding the generalizability in neural networks from perspectives of PAC-Bayes, robustness, overparametrization, compression and so on. In this work, we advance the understanding of the relations between the network's architecture and its generalizability from the compression perspective. Using tensor analysis, we propose a series of intuitive, data-dependent and easily-measurable properties that tightly characterize the compressibility and generalizability of neural networks; thus, in practice, our generalization bound outperforms the previous compression-based ones, especially for neural networks using tensors as their weight kernels (e.g. CNNs). Moreover, these intuitive measurements provide further insights into designing neural network architectures with properties favorable for better/guaranteed generalizability. Our experimental results demonstrate that through the proposed measurable properties, our generalization error bound matches the trend of the test error well. Our theoretical analysis further provides justifications for the empirical success and limitations of some widely-used tensor-based compression approaches. We also discover the improvements to the compressibility and robustness of current neural networks when incorporating tensor operations via our proposed layer-wise structure.

연구 동기 및 목표

• 딥 신경망에서 일반화의 메커니즘을 이해하기 위해.
• 모델 압축 하에서 텐서 분해 방법이 일반화에 미치는 영향을 조사하기 위해.
• 다양한 압축 비율에서 텐서 기반 압축 기법(CT, CT+CPL)의 테스트 정확도 성능을 평가하기 위해.
• 표준 프루닝 및 저랭크 근사와 비교하여 텐서 방법의 일반화 유지 능력에 대한 내성적 강건성을 비교하기 위해.

제안 방법

• 저자들은 훈련된 신경망을 압축하기 위해 텐서 트레인(TT) 분해를 적용하여 저랭크 근사를 통해 파라미터를 감소시킨다.
• 성능 유지를 위해 텐서 압축(CT)과 피니팅 단계(CPL)를 조합한 새로운 압축 전략을 제안한다.
• 압축 비율 범위(16.5%에서 93.5%)에서 테스트 정확도를 측정함으로써 일반화를 평가한다.
• 동일한 훈련 및 평가 프rotocol 하에서 표준 피니팅, CT-only, CT+CPL 방법 간 비교를 수행한다.
• 정확도를 여러 압축 수준에서 측정하기 위해 벤치마크 데이터셋에서 실증적 평가를 수행한다.
• 압축 비율에 따른 정확도 추세를 보여주기 위해 축에 평행한 플롯을 사용하여 결과를 시각화한다.

실험 결과

연구 질문

• RQ1 텐서 분해 기반 압축은 딥 러닝 신경망의 테스트 정확도에 어떤 영향을 미치는가?
• RQ2 텐서 방법을 통한 구조적 파라미터 공유는 높은 압축 비율에서도 일반화를 유지할 수 있는가?
• RQ3 피니팅 단계(CPL)를 추가함으로써 CT에 비해 성능 향상은 어떻게 이루어지는가?
• RQ4 저랭크 텐서 근사에서 모델 압축과 일반화 성능 간의 상충 관계는 어떠한가?
• RQ5 표준 프루닝 또는 저랭크 방법과 비교해 텐서 기반 방법은 테스트 정확도 유지에 어떻게 비교되는가?

주요 결과

• CT+CPL 방법은 압축 비율 93.5%에서도 테스트 정확도를 92% 이상 유지하여 고압축에서도 강력한 일반화를 보임을 시사한다.
• 45% 압축에서 CT+CPL은 92.23%의 테스트 정확도를 달성하여 CT 단독(91.94%)보다 뛰어나며, 피니팅 단계의 유용성을 입증한다.
• CT 단독 방법은 모든 압축 수준에서 약 91.94%의 정확도를 유지하며, 일관되지만 최적의 성능은 아님을 나타낸다.
• 텐서 압축을 적용하지 않은 기준 방법은 16.5% 압축에서 92.13%의 정확도를 기록하여 성능 기준선으로 기능한다.
• 결과는 텐서 분해를 통한 구조적 파라미터 공유가 중요한 표현 능력을 유지함으로써 일반화를 향상시킨다는 것을 시사한다.
• 성능 추세는 텐서 기반 방법이 정확도 하락 없이 안정적이고 강건한 방식으로 압축을 가능하게 한다는 것을 나타낸다.