[논문 리뷰] ProdSumNet: reducing model parameters in deep neural networks via product-of-sums matrix decompositions

Chai Wah Wu|arXiv (Cornell University)|2018. 09. 06.

Model Reduction and Neural Networks참고 문헌 23인용 수 15

한 줄 요약

ProdSumNet는 깊이 있는 신경망의 파라미터 수를 줄이기 위해 간단하고 고정된 행렬들의 합의 곱으로 가중치 행렬을 표현하는 새로운 행렬 분해 프레임워크를 제안한다. 이러한 합의 계수인 스칼라 계수들만 학습함으로써, 이 방법은 파라미터 수를 크게 줄이며 높은 정확도를 달성한다 — 예를 들어, 표준 CNN이 약 320만 개의 파라미터가 필요한 MNIST에서 3,554개의 학습 가능한 파라미터로도 98.44%의 정확도를 달성한다. 이는 아키텍처 간에 민첩하고 학습 가능한 파라미터의 트레이드오프를 제공한다.

ABSTRACT

We consider a general framework for reducing the number of trainable model parameters in deep learning networks by decomposing linear operators as a product of sums of simpler linear operators. Recently proposed deep learning architectures such as CNN, KFC, Dilated CNN, etc. are all subsumed in this framework and we illustrate other types of neural network architectures within this framework. We show that good accuracy on MNIST and Fashion MNIST can be obtained using a relatively small number of trainable parameters. In addition, since implementation of the convolutional layer is resource-heavy, we consider an approach in the transform domain that obviates the need for convolutional layers. One of the advantages of this general framework over prior approaches is that the number of trainable parameters is not fixed and can be varied arbitrarily. In particular, we illustrate the tradeoff of varying the number of trainable variables and the corresponding error rate. As an example, by using this decomposition on a reference CNN architecture for MNIST with over 3x10^6 trainable parameters, we are able to obtain an accuracy of 98.44% using only 3554 trainable parameters.

연구 동기 및 목표

• 분류 정확도를 훼손하지 않으면서 깊이 있는 신경망의 학습 가능한 파라미터 수를 줄이는 것.
• 기존의 파라미터 효율적인 아키텍처들인 CNN과 KFC를 곱의 합 분해의 특수한 경우로 통합하는 일반적인 프레임워크를 개발하는 것.
• 분해에 사용되는 합의 항 수를 변화시킴으로써 학습 가능한 파라미터 수에 대한 민감하고 동적인 제어를 가능하게 하는 것.
• 이미지 분류 벤치마크인 MNIST와 패션 MNIST에서 높은 성능을 유지하면서 모델 복잡도를 크게 줄일 수 있음을 입증하는 것.
• 이 분해 프레임워크를 사용하여 계산 비용이 높은 컨볼루션 레이어를 효율적인 변환 도메인 구현으로 대체할 수 있는지 탐색하는 것.

제안 방법

• 가중치 행렬 $ W $ 를 합의 곱으로 표현: $ W = \prod_{j=1}^{p} \sum_{k=1}^{s_j} a_{jk} M_{jk} $, 여기서 $ a_{jk} $ 는 학습 가능한 파라미터이고 $ M_{jk} $ 는 고정된 행렬이다.
• 선형 활성화 함수 $ g_{jk}(x) = x $ 를 사용하여 분해를 단순화하고, 스칼라 계수 $ a_{jk} $ 의 미분 가능 학습을 가능하게 한다.
• 완전 연결 레이어와 컨볼루션 레이어에 이 분해를 적용하여, 표준 밀집 또는 컨볼루션 레이어를 파라미터 효율적인 대체품으로 교체한다.
• 분해를 변환 도메인(예: FFT 또는 기타 변환)에서 구현하여 고비용의 컨볼루션 연산을 피한다.
• 반복적 정밀화: $ s_j $ 를 점차 증가시키며 단계별로 학습하고, 하위 단계 결과의 최소 제곱 근사로 고차원 파라미터를 초기화한다.
• 저장 및 계산 비용을 줄이기 위해 $ M_{jk} $ 에 대해 저랭크 또는 구조적 행렬(예: 순환, 토플리츠)을 활용한다.

실험 결과

연구 질문

• RQ1 곱의 합으로 이루어진 행렬 분해가 깊이 있는 신경망의 학습 가능한 파라미터 수를 효과적으로 줄이면서도 높은 정확도를 유지할 수 있는가?
• RQ2 분해에서 학습 가능한 파라미터 수가 이미지 분류 작업에서 최종 테스트 오차와 모델 성능에 미치는 영향은 어떠한가?
• RQ3 이 프레임워크는 CNN과 KFC를 초월해 일반화될 수 있는가? 그리고 임의의 신경망 레이어에 적용될 수 있는가?
• RQ4 고정된 행렬 $ M_{jk} $ 와 스칼라 계수 $ a_{jk} $ 만 학습함으로써 현저히 줄어든 파라미터 수로도 높은 정확도를 달성할 수 있는가?
• RQ5 MNIST와 패션 MNIST와 같이 내재된 복잡도가 다를 수 있는 다양한 데이터셋에서 이 분해의 성능는 어떻게 변화하는가?

주요 결과

• ProdSumNet는 표준 CNN이 약 320만 개의 파라미터가 필요한 MNIST에서 단지 3,554개의 학습 가능한 파라미터로도 98.44%의 테스트 정확도를 달성한다. 이는 기존 대비 99.8% 이상의 파라미터 감소를 의미한다.
• 이 방법은 모델 복잡도와 정확도 사이에 민감하고 탄력적인 트레이드오프를 보이며, 학습 가능한 파라미터 수가 감소함에 따라 성능이 점진적으로 저하된다.
• 패션 MNIST는 MNIST보다 유사한 정확도를 달성하기 위해 더 많은 파라미터가 필요하며, 이는 더 높은 내재적 복잡도와 더 많은 자유도를 가진 데이터를 반영한다.
• 이 분해 프레임워크는 기존의 아키텍처인 CNN과 KFC를 특수한 경우로 성공적으로 일반화하여, 광범위한 적용 가능성을 보여준다.
• 컨볼루션 레이어를 분해를 활용한 변환 도메인 구현으로 대체함으로써 계산 비용을 줄이고 고비용의 컨볼루션 연산을 피할 수 있다.
• 구조적 행렬(예: 순환, 저랭크)을 $ M_{jk} $ 에 사용함으로써 효율적인 저장 및 계산이 가능해져, 이 방법이 실용적인 구현에 적합함을 입증한다.