[논문 리뷰] Low-rank Adaptation Method for Wav2vec2-based Fake Audio Detection

Chenglong Wang, Jiangyan Yi외 4명|arXiv (Cornell University)|2023. 06. 09.

Speech and Audio Processing인용 수 5

한 줄 요약

이 논문은 가짜 오디오 탐지에 대해 wav2vec2의 효율적인 미세조정을 위한 저랭크 적응(LoRA)을 제안한다. 사전 훈련된 가중치를 동결하고, 훈련 가능한 저랭크 행렬을 삽입하여 가중치 학습 가능 수를 99.49% 감소시키며, 전역 미세조정 성능에 근접한 성능(8초 오디오 기준 EER: 1.18%)을 유지한다. LoRA는 메모리 소비를 줄이고 수렴 속도를 높여, 전역 미세조정 및 어댑터 방법보다 뛰어난 훈련 효율성을 제공한다.

ABSTRACT

Self-supervised speech models are a rapidly developing research topic in fake audio detection. Many pre-trained models can serve as feature extractors, learning richer and higher-level speech features. However,when fine-tuning pre-trained models, there is often a challenge of excessively long training times and high memory consumption, and complete fine-tuning is also very expensive. To alleviate this problem, we apply low-rank adaptation(LoRA) to the wav2vec2 model, freezing the pre-trained model weights and injecting a trainable rank-decomposition matrix into each layer of the transformer architecture, greatly reducing the number of trainable parameters for downstream tasks. Compared with fine-tuning with Adam on the wav2vec2 model containing 317M training parameters, LoRA achieved similar performance by reducing the number of trainable parameters by 198 times.

연구 동기 및 목표

• 가짜 오디오 탐지에 대해 대규모 사전 훈련된 wav2vec2 모델을 미세조정할 때 발생하는 높은 계산 비용과 메모리 소비 문제를 해결하기 위해.
• 자기초학적 음성 모델을 위한 스푸핑 탐지 맥락에서 LoRA와 같은 효율적인 파arameter 효율적 미세조정 방법을 탐색하기 위해.
• 성능 저하 없이 훈련 시간과 하드웨어 요구 사항을 줄이기 위해.
• ASVspoof2019 벤치마크에서 LoRA의 효과성을 전역 미세조정 및 어댑터 기반 방법과 비교 평가하기 위해.

제안 방법

• 모든 사전 훈련된 wav2vec2 모델 가중치를 동결하고, 트랜스포머 레이어의 쿼리(Wq) 및 밸류(Wv) 투영 행렬에 훈련 가능한 저랭크 행렬(B ∈ ℝ^{d×r}, A ∈ ℝ^{r×k})을 삽입한다.
• 모델 출력을 h = h + BAx로 갱신하며, 여기서 ΔW = BA는 가중치 갱신의 저랭크 근사이며, r ≪ d이다.
• 기존 가중치 W를 고정한 채로 오직 저랭크 행렬 A와 B만 학습하여, 훈련 가능한 파라미터 수를 크게 줄인다.
• 다중 헤드 어텐션 메커니즘의 쿼리 및 밸류 행렬(Wq 및 Wv)에 LoRA를 적용한다. 이는 추론 실험에서 가장 우수한 성능을 보였기 때문이다.
• 성능와 파라미터 효율성의 균형을 고려해 최적의 설정으로 r = 2를 선택한다.
• 다양한 입력 길이(1초에서 8초까지)와 배치 크기를 적용하여 ASVspoof2019 데이터셋에서 성능과 효율성, 내구성을 평가한다.

실험 결과

연구 질문

• RQ1 LoRA는 가짜 오디오 탐지에 있어 wav2vec2의 훈련 가능한 파라미터 수를 효과적으로 줄일 수 있을까? 성능 유지 여부는 어떻게 되는가?
• RQ2 LoRA는 전역 미세조정 및 어댑터 기반 방법과 비교해 탐지 정확도와 훈련 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 가짜 오디오 탐지에 있어 wav2vec2를 사용할 때 LoRA의 최적 랭크 r는 무엇인가?
• RQ4 입력 오디오 길이가 LoRA 미세조정 모델의 성능 및 메모리 요구량에 어떤 영향을 미치는가?
• RQ5 특정 어텐션 행렬에(예: Wq, Wv) LoRA를 적용할 경우, 모든 행렬에 적용하는 것보다 더 좋은 성능을 내는가?

주요 결과

• LoRA는 전역 미세조정 대비 훈련 가능한 파라미터 수를 99.49% 감소시켰으며, 8초 오디오 입력 기준 EER은 1.18%를 기록했다.
• LoRA의 성능는 전역 미세조정 대비 단지 0.17% 떨어져, 파라미터 수가 극도로 줄었음에도 불구하고 거의 동일한 정확도를 확보했다.
• LoRA의 훈련 시간은 전역 미세조정보다 빠르며, 배치 크기 16, 1초 오디오 입력 기준 46초 대비 97초로 약 52% 빠른 수렴 속도를 보였다.
• LoRA는 4초 오디오 기준 최대 배치 크기 8까지 확장 가능했으나, 전역 미세조정은 배치 크기 4에서 메모리 오버플로우로 실패했다.
• 쿼리 및 밸류 행렬(Wq 및 Wv)에 LoRA를 적용할 경우, 모든 행렬에 적용하거나 키 행렬에만 적용하는 것보다 더 뛰어난 성능을 보였다.
• 입력 길이를 1초에서 8초로 늘일수록 EER은 10.27%에서 1.18%로 향상되었지만, 이는 메모리 사용량 증가를 수반하여 성능과 효율성 사이의 상충 관계를 드러냈다.