[논문 리뷰] Parameter-Efficient Masking Networks

Yue Bai, Huan Wang외 4명|arXiv (Cornell University)|2022. 10. 13.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 깊이 있는 신경망을 표현하기 위해 단일 랜덤 가중치 벡터와 학습 가능한 마스크를 사용하는 새로운 네트워크 압축 패러다임인 파라미터 효율적 마스킹 네트워크(PEMN)를 소개한다. 이는 모델 크기를 크게 줄이며, 고성능을 유지한다. 고유한 값의 수가 제한된 고정된 랜덤 가중치에 대해 다양한 마스크를 학습함으로써, 낮은 스토리지 비용으로도 높은 성능을 달성하며, 다양한 아키텍처에서 기존 기준들보다 더 뛰어난 압축 효율성과 내성성을 보여준다.

ABSTRACT

A deeper network structure generally handles more complicated non-linearity and performs more competitively. Nowadays, advanced network designs often contain a large number of repetitive structures (e.g., Transformer). They empower the network capacity to a new level but also increase the model size inevitably, which is unfriendly to either model restoring or transferring. In this study, we are the first to investigate the representative potential of fixed random weights with limited unique values by learning diverse masks and introduce the Parameter-Efficient Masking Networks (PEMN). It also naturally leads to a new paradigm for model compression to diminish the model size. Concretely, motivated by the repetitive structures in modern neural networks, we utilize one random initialized layer, accompanied with different masks, to convey different feature mappings and represent repetitive network modules. Therefore, the model can be expressed as extit{one-layer} with a bunch of masks, which significantly reduce the model storage cost. Furthermore, we enhance our strategy by learning masks for a model filled by padding a given random weights vector. In this way, our method can further lower the space complexity, especially for models without many repetitive architectures. We validate the potential of PEMN learning masks on random weights with limited unique values and test its effectiveness for a new compression paradigm based on different network architectures. Code is available at https://github.com/yueb17/PEMN

연구 동기 및 목표

• 제한된 고유 값 수를 가진 고정된 랜덤 가중치의 최대 표현 가능성을 깊이 있는 신경망에서 조사하기.
• 특히 모바일 및 이식 친화적 배포를 위한 목적에서 깊이 신경망의 높은 모델 크기 문제를 해결하기.
• 희소 가중치 저장 방식을 대체하기 위해 랜덤 벡터와 학습 가능한 마스크를 사용하는 새로운 네트워크 압축 패러다임을 제안하기.
• 반복적인 구조가 없는 아키텍처를 포함한 다양한 아키텍처로도 압축 방법을 일반화하기.
• 제안된 방법을 사용할 경우 고압축 비율에서도 성능이 유지됨을 입증하기.

제안 방법

• 단일로 무작위로 초기화된 레이어를 프로토타입으로 사용하는 한 레이어 전략을 제안하며, 이는 다양한 마스크를 통해 네트워크 전반에 복제된다.
• 가장 밀도가 높은 레이어의 파rameters를 사용해 레이어를 채우는 최대 레이어 패딩(MP)을 도입하여 구조적 유사성을 유지한다.
• 아키텍처에 종속되지 않는 랜덤 벡터 패딩(RP)을 개발하여, 적절한 길이의 단일 랜덤 벡터를 사용해 모든 레이어를 초기화한다.
• 백프로파게이션을 통해 작업에 특화된 이진 또는 연속 마스크를 학습하여 고정된 랜덤 가중치 구조에서 부분 네트워크를 선택한다.
• 전체 네트워크를 고정된 랜덤 가중치 벡터와 학습된 마스크의 조합으로 표현함으로써 고유 파라미터 수를 극적으로 줄인다.
• 기존의 희소 가중치 복원 방식을 마스크 기반 복원 방식으로 대체하여 스토리지 및 전송 비용을 낮춘다.

실험 결과

연구 질문

• RQ1 학습 가능한 마스크와 함께 사용할 때, 고유한 값 수가 제한된 고정된 랜덤 가중치 벡터의 최대 표현 용량은 얼마인가?
• RQ2 랜덤 가중치 패딩을 통해 고유 파rameter 수를 최소화한 신경망이 마스크 학습을 통해 경쟁 가능한 성능을 달성할 수 있는가?
• RQ3 기존의 희소 네트워크 학습과 비교했을 때, 제안된 PEMN 기반의 압축 패러다임은 압축 비율과 정확도의 상호 보완 관계에서 어떻게 다른가?
• RQ4 이 방법이 반복적인 아키텍처 외의 다양한 네트워크 아키텍처에 얼마나 일반화 가능한가?
• RQ5 특히 더 큰 기준 모델과 비교했을 때, 이 방법이 극한의 압축 비율에서도 성능을 유지할 수 있는가?

주요 결과

• 제안된 PEMN 방법은 ResNet 및 ConvMixer를 포함한 여러 아키텍처에서 최신 기준 성능을 달성하며, 기존 기준들보다 훨씬 높은 압축 비율을 확보한다.
• 기존의 희소 학습과 달리, 증가하는 압축 비율에 따라 성능이 급격히 떨어지는 현상이 없이 PEMN는 고압축 수준에서도 높은 정확도를 유지하며 내성성을 유지한다.
• PEMN를 사용해 압축한 소형 모델들이 기존 희소성 방법으로 학습한 더 큰 기준 모델들보다 뛰어난 성능을 보이며, 더 뛰어난 파라미터 효율성을 입증한다.
• 깊이가 깊은 네트워크(예: ResNet56 대 ResNet32)에서는 압축 모델과 밀도 모델 간의 성능 격차가 작아지며, 깊이에 따라 더 잘 스케일링됨을 나타낸다.
• CIFAR-10에서 ConvMixer에 대한 실험 결과, PEMN는 기존 기준들보다 더 낮은 모델 크기에서도 더 높은 정확도를 유지함을 확인하여, 다양한 네트워크 설계에서의 효과를 입증한다.
• 랜덤 벡터 패딩을 통한 아키텍처에 종속되지 않는 성격 덕분에, 반복적인 구조가 없는 네트워크에도 넓은 적용 가능성을 보여준다.