[논문 리뷰] Diet deep generative audio models with structured lottery

Philippe Esling, Ninon Devis외 4명|arXiv (Cornell University)|2020. 07. 31.

Music and Audio Processing참고 문헌 22인용 수 4

한 줄 요약

이 논문은 고정된 상호정보 기준을 사용하여 전체 계산 단위(예: 컨볼루션 채널)를 제거하는 구조적 프루닝을 통해 초경량 딥 생성 음성 모델을 생성함으로써, 높은 정확도를 유지하면서도 구조적으로 희박한 서브넷워크를 식별하고 훈련시는 구조적 로또 프루닝을 제안한다. 이 방법은 전체 모델 크기를 최대 95%까지 감소시키며 정확도 손실를 최소화하여 CPU에서 실시간 추론과 Raspberry Pi 및 Arduino와 같은 플랫폼에 통합 가능한 배포를 가능하게 한다.

ABSTRACT

Deep learning models have provided extremely successful solutions in most audio application fields. However, the high accuracy of these models comes at the expense of a tremendous computation cost. This aspect is almost always overlooked in evaluating the quality of proposed models. However, models should not be evaluated without taking into account their complexity. This aspect is especially critical in audio applications, which heavily relies on specialized embedded hardware with real-time constraints. In this paper, we build on recent observations that deep models are highly overparameterized, by studying the lottery ticket hypothesis on deep generative audio models. This hypothesis states that extremely efficient small sub-networks exist in deep models and would provide higher accuracy than larger models if trained in isolation. However, lottery tickets are found by relying on unstructured masking, which means that resulting models do not provide any gain in either disk size or inference time. Instead, we develop here a method aimed at performing structured trimming. We show that this requires to rely on global selection and introduce a specific criterion based on mutual information. First, we confirm the surprising result that smaller models provide higher accuracy than their large counterparts. We further show that we can remove up to 95% of the model weights without significant degradation in accuracy. Hence, we can obtain very light models for generative audio across popular methods such as Wavenet, SING or DDSP, that are up to 100 times smaller with commensurate accuracy. We study the theoretical bounds for embedding these models on Raspberry Pi and Arduino, and show that we can obtain generative models on CPU with equivalent quality as large GPU models. Finally, we discuss the possibility of implementing deep generative audio models on embedded platforms.

연구 동기 및 목표

• 실시간 및 임베디드 시스템에의 배포를 제한하는 깊이 있는 생성 음성 모델의 높은 계산 및 메모리 비용을 해결하기 위해.
• 희박한 서브넷워크를 초기화하여 높은 성능을 달성하는 로또 티켓 가설이 생성 음성 모델에 적용 가능한지 조사하기 위해.
• 개별 가중치가 아닌 전체 계산 단위(예: 컨볼루션 채널)를 제거함으로써 모델 크기와 추론 시간을 줄이는 구조적 프루닝을 개발하여 비효율적인 비구조적 프루닝을 해결하기 위해.
• FLOPs, 디스크 크기, 메모리 사용량 최적화를 통해 Arduino 및 Raspberry Pi와 같은 저자원 플랫폼에 고품질 생성 음성 모델을 배포할 수 있도록 하기 위해.

제안 방법

• WaveNet, SING, DDSP와 같은 깊이 있는 생성 음성 모델에 로또 티켓 가설을 적용하여, 초기화 시점에 고정밀도를 달성할 수 있는 희박한 서브넷워크를 식별한다.
• 개별 가중치가 아닌 전체 컨볼루션 채널을 제거하는 방식으로 구조적 프루닝을 도입함으로써 모델 크기와 추론 비용의 진정한 감소를 가능하게 한다.
• 계산 단위와 목표 출력 간의 상호정보를 기반으로 한 글로벌 선택 기준을 개발하여 구조적 프루닝을 이끌고 성능 유지에 기여한다.
• 가중치 재설정을 포함한 반복적 프루닝과 재훈련을 통해 가장 효과적인 서브넷워크를 식별하고 훈련시킴으로써 강건성과 정확도를 확보한다.
• 실시간 및 임베디드 가능성 평가를 위해 FLOPs(추론 속도), 디스크 크기(저장소), 읽기/쓰기 메모리(RAM 접근)의 세 가지 지표를 사용하여 모델 효율성을 평가한다.
• 임베디드 플랫폼(아두이노, 라즈베리 파이)에서 추론된 FLOPS와 하드웨어 제약 조건을 기반으로 프루닝된 모델을 벤치마킹하여 임베디드 가능성 임계치를 확인한다.

실험 결과

연구 질문

• RQ1 로또 티켓 가설이 깊이 있는 생성 음성 모델에 성공적으로 적용될 수 있으며, 더 작고 정확도가 높은 모델을 도출할 수 있는가?
• RQ2 개별 가중치가 아닌 전체 채널을 제거하는 구조적 프루닝이 비구조적 프루닝에 비해 모델 크기와 추론 시간에 의미 있는 감소를 이끌 수 있는가?
• RQ3 상호정보 기반의 글로벌 정보이론 기반 기준(상호정보 기반)이 극단적 압축 중에도 높은 성능을 유지하기 위해 효과적으로 구조적 프루닝을 이끌 수 있는가?
• RQ4 프루닝된 생성 음성 모델이 아두이노 및 라즈베리 파이와 같은 저전력 플랫폼에 얼마나 깊이 임베디드될 수 있으며, 모델 크기, 정확도, 하드웨어 제약 조건 간의 상호 교환 관계는 어떠한가?

주요 결과

• 구조적 로또 프루닝을 통해 도출된 더 작은 모델이 더 큰 모델보다 높은 정확도를 달성함으로써, 모델 압축의 놀라운 이점이 확인되었다.
• 정확도에 심각한 영향을 주지 않으면서도 모델 가중치의 최대 95%를 제거할 수 있었으며, 이는 생성 음성 모델에서 극도의 희박성이 가능함을 보여주었다.
• 제안된 상호정보 기반 기준은 효과적인 글로벌 구조적 프루닝을 가능하게 하여, 극단적 압축 중 정확도 유지 측면에서 局부 프루닝을 능가했다.
• 경량 모델은 원본 모델 대비 최대 100배 작아졌으며, GPU 수준의 음성 합성 품질을 유지하면서도 CPU에서 실시간 추론이 가능했다.
• 라즈베리 파이 1B에서는 모델 크기와 메모리 사용량이 제약 범위 내에 있었지만, FLOPs는 여전히 한계 수준이었으며, 더 강한 프루닝을 통해 정확도 손실가 최소한도로 유지된 채 임베디드 가능성이 확보되었다.
• 아두이노 플랫폼에서는 조차도 가장 작은 모델조차도 FLOPS와 메모리 제약을 초과했으며, 임베디드 가능한 모델는 원본 대비 오류율이 2.5배 높아졌는데, 이는 현재 하드웨어 제약 조건이 여전히 도전적임을 시사한다.