[논문 리뷰] Resource-Efficient Separation Transformer

Della Libera, Luca, Cem Subakan외 4명|arXiv (Cornell University)|2022. 06. 19.

Speech and Audio Processing인용 수 11

한 줄 요약

이 논문은 자원 효율적인 분리 트랜스포머( RE-SepFormer)를 제안한다. 이는 비중첩 잠재 공간 조각과 메모리 트랜스포머를 통한 압축된 요약 표현을 사용하여 계산 비용을 줄이는 경량 트랜스포머 기반 아키텍처이다. 표준 SepFormer 대비 3배 적은 파라미터와 11배 적은 MACs를 사용하면서도 경쟁 가능한 성능을 달성하며, 장시간 시퀀스 및 실시간 추론에 대해 효율적으로 확장 가능하다.

ABSTRACT

Transformers have recently achieved state-of-the-art performance in speech separation. These models, however, are computationally demanding and require a lot of learnable parameters. This paper explores Transformer-based speech separation with a reduced computational cost. Our main contribution is the development of the Resource-Efficient Separation Transformer (RE-SepFormer), a self-attention-based architecture that reduces the computational burden in two ways. First, it uses non-overlapping blocks in the latent space. Second, it operates on compact latent summaries calculated from each chunk. The RE-SepFormer reaches a competitive performance on the popular WSJ0-2Mix and WHAM! datasets in both causal and non-causal settings. Remarkably, it scales significantly better than the previous Transformer-based architectures in terms of memory and inference time, making it more suitable for processing long mixtures.

연구 동기 및 목표

• 자원 제약이 있는 장치에의 배포를 제한하는 트랜스포머 기반 음성 분리 모델의 높은 계산 및 메모리 요구량을 해결하기 위함.
• 성능을 희생시키지 않은 채 자기주의 주의 메커니즘의 추론 지연과 메모리 사용을 줄이기 위함.
• 실시간 온디바이스 음성 분리에 적합한 효율적이고 저지연의 인과적 추론을 가능하게 하기 위함.
• 겹치는 주의를 비겹치는 조각화와 요약 기반 주의로 대체함으로써 트랜스포머의 아키텍처 효율성을 탐색하기 위함.
• 모델 복잡도를 감소시켜도 표준 벤치마크에서 경쟁 가능한 분리 품질을 유지할 수 있음을 입증하기 위함.

제안 방법

• RE-SepFormer는 잠재 공간에서 겹치지 않는 조각을 사용하여, 50% 겹침을 가진 기존 겹침 방법 대비 조각 수를 절반으로 줄인다.
• 각 조각에 대해 독립적으로 인tra-트랜스포머를 적용하여 각 세그먼트 내 국소적 의존성을 처리한다.
• 각 조각에서 파생된 압축된 요약 표현을 대상으로 메모리 트랜스포머를 운영하여 전체 시퀀스 자기주의 주의를 요약 주의에 대체한다.
• 마스크 기반 아키텍처를 사용한다: 인코더는 입력을 잠재 공간으로 매핑하고, 마스크 네트워크는 소스 마스크를 예측하며, 디코더는 분리된 신호를 재구성한다.
• 인코딩에는 스트라이드 컨볼루션을, 디코딩에는 역방향 컨볼루션을 사용하며, 마스크 네트워크에는 ReLU와 PReLU 활성화 함수를 적용한다.
• 고도로 병렬 처리가 가능하도록 설계되어 GPU 추론을 효율적으로 지원하고, 장시간 입력 시퀀스에 대해 더 나은 확장성을 보인다.

실험 결과

연구 질문

• RQ1 잠재 공간에서의 비겹치는 조각화가 성능 저하 없이 트랜스포머 기반 음성 분리의 계산 비용을 줄일 수 있는가?
• RQ2 요약 기반 주의 메커니즘(메모리 트랜스포머)이 전체 자기주의 주의를 대체하면서도 모델 용량과 정확도를 유지할 수 있는가?
• RQ3 표준 벤치마크에서 기존 최첨단 모델인 SepFormer 및 Conv-TasNet과 비교해 RE-SepFormer의 성능 및 효율성은 어떠한가?
• RQ4 층수나 차원을 줄이는 아키텍처 아블레이션(예: 층 수 또는 피드포워드 차원 감소)이 파라미터와 MACs를 얼마나 줄일 수 있으며, 이를 통해 수용 가능한 분리 품질을 유지할 수 있는가?
• RQ5 RE-SepFormer는 비인과적 오프라인 및 인과적 실시간 설정 모두에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• WSJ0-2Mix 데이터셋에서 RE-SepFormer은 SDRi 18.9 dB, WHAM! 데이터셋에서는 14.4 dB를 기록하여 경쟁 가능한 성능를 입증하였다.
• 표준 SepFormer 대비 모델 파라미터를 3배 이상 감소시키고 MACs를 11배 감소시켰으며, 성능 저하 폭은 미미하였다.
• 특히 장시간 입력 시퀀스에서 메모리 사용량과 추론 시간 측면에서 이전 트랜스포머 기반 아키텍처보다 크게 우수한 확장성을 보였다.
• 아블레이션 연구 결과, 인트라-트랜스포머 및 메모리 트랜스포머의 층 수를 줄이는 것이 성능 및 효율성에 가장 큰 영향을 미치며, 피드포워드 차원을 줄이는 것은 영향이 더 작았다.
• 심한 아블레이션(4층 및 512차원 피드포워드 레이어) 조건에서도 SDRi 16.5 dB의 성능을 유지하였으며, 이는 Conv-TasNet 및 SignPredictionNet과 같은 모델보다 효율성이 뛰어났다.
• RE-SepFormer는 매우 높은 병렬 처리 가능성을 지니며, 스마트폰 및 랩탑과 같은 소형 장치에서 실시간 저지연 추론에 매우 적합하다.