[논문 리뷰] WavMark: Watermarking for Audio Generation

Guangyu Chen, Yu Wu외 4명|arXiv (Cornell University)|2023. 08. 24.

Advanced Steganography and Watermarking Techniques인용 수 6

한 줄 요약

WavMark는 1초 길이의 오디오 세그먼트에 32비트의 인식 불가능한 워터마크를 삽입하는 역가능한 신경망 기반 오디오 워터마킹 프레임워크를 제안한다. 이는 10가지 공격에 걸쳐 평균 비트 오류율(BER) 0.48%를 기록하며 기존 최고 성능(SOTA) 대비 2800% 우수한 강건성을 확보했으며, 자동 워터마크 위치 특정 기능을 제공하고 다양한 오디오 도메인을 지원한다.

ABSTRACT

Recent breakthroughs in zero-shot voice synthesis have enabled imitating a speaker's voice using just a few seconds of recording while maintaining a high level of realism. Alongside its potential benefits, this powerful technology introduces notable risks, including voice fraud and speaker impersonation. Unlike the conventional approach of solely relying on passive methods for detecting synthetic data, watermarking presents a proactive and robust defence mechanism against these looming risks. This paper introduces an innovative audio watermarking framework that encodes up to 32 bits of watermark within a mere 1-second audio snippet. The watermark is imperceptible to human senses and exhibits strong resilience against various attacks. It can serve as an effective identifier for synthesized voices and holds potential for broader applications in audio copyright protection. Moreover, this framework boasts high flexibility, allowing for the combination of multiple watermark segments to achieve heightened robustness and expanded capacity. Utilizing 10 to 20-second audio as the host, our approach demonstrates an average Bit Error Rate (BER) of 0.48\% across ten common attacks, a remarkable reduction of over 2800\% in BER compared to the state-of-the-art watermarking tool. See https://aka.ms/wavmark for demos of our work.

연구 동기 및 목표

• 음성 클로닝 및 합성 음성 오용으로 인한 증가하는 위험, 예를 들어 음성 사기 및 위장 행위를 해결하기 위해.
• 기존 DNN 기반 워터마킹 방법이 자동 워터마크 위치 특정 기능이 부족하고 용량과 인식 불가능성 측면에서 열악한 한계를 극복하기 위해.
• 합성 음성 탐지 및 저작권 보호 분야에서 오디오 워터마킹을 신뢰할 만하고 실생활에 적용 가능한 시스템을 개발하기 위해.
• 일반적인 오디오 공격에 강건성을 확보하면서도 높은 오디오 품질과 낮은 인식 가능성을 유지하기 위해.
• 대규모 다중 도메인 훈련을 통해 다양한 오디오 유형(예: 음성, 음악, 이벤트 사운드)으로의 일반화를 가능하게 하기 위해.

제안 방법

• 공유 파rameter를 사용해 인코딩 및 디코딩 과정을 통합하는 역가능 신경망(INNs)을 활용하여 강건성 향상과 고용량 워터마킹을 달성한다.
• 새로운 BFD(역방향-순방향 탐지) 방법을 통해 외부 동기화 코드에 의존하지 않고도 강건한 워터마크 위치 특정을 가능하게 하는 이동 모듈을 도입한다.
• 1초 길이의 오디오 세그먼트에 32비트 메시지를 삽입하며, 겹치는 또는 인접한 세그먼트에 대해 반복 워터마킹을 적용해 전체 길이 보호를 구현한다.
• 음성, 음악, 환경 사운드를 포함하는 다양한 5,000시간 분량의 데이터셋을 훈련에 사용하여 미리 알 수 없는 오디오 생성 모델 출력에 대한 일반화 능력을 향상시킨다.
• 청각적 품질 평가 지표로는 SNR과 PESQ를 사용하며, 잡음이 많은 세그먼트를 방지하기 위해 임계값 기반 필터링(SNR < 25 dB)을 적용한다.
• 워터마크 세그먼트를 식별하기 위해 32비트 페이로드의 10비트를 패턴 기반으로 사용하는 전략을 적용하여, 위치에 대한 사전 지식 없이도 탐지가 가능하게 한다.

실험 결과

연구 질문

• RQ1 역가능 신경망이 오디오 워터마킹에 효과적으로 적용될 수 있는가? 이는 강건성과 용량 향상에 기여하며 동시에 인식 불가능성을 유지할 수 있는가?
• RQ2 외부 동기화 코드 없이 워터마크 위치 특정를 어떻게 달성할 수 있으며, 이는 시스템의 신뢰성과 성능에 어떤 영향을 미치는가?
• RQ3 다양하고 다중 도메인 오디오로 훈련하는 것이 합성 음성 워터마킹의 일반화 능력과 강건성에 얼마나 기여하는가?
• RQ4 다양한 오디오 공격 하에서 워터마크 용량, 인식 불가능성, 강건성 간의 상호 상충 관계는 어떠한가?
• RQ5 침묵 또는 음소거된 오디오 세그먼트에 워터마크를 삽입할 경우 모델의 성능은 어떻게 되며, 이를 완화하기 위한 전략은 무엇인가?

주요 결과

• WavMark는 10가지 일반적인 오디오 공격에 걸쳐 평균 비트 오류율(BER) 0.48%를 기록하며, 기존 SOTA 도구인 Audiowmark 대비 2800% 낮은 오류율을 확보하여 뛰어난 강건성을 입증했다.
• 기존 DNN 기반 방법 대비 신호 대 잡음비(SNR)가 6 dB 향상되어 >36 dB를 확보함으로써 청각적 품질이 향상되었으며, 높은 인식 불가능성을 달성했다.
• BFD 방법을 통한 자동 워터마크 위치 특정는 잘못된 위치 탐지로 인한 디코딩 오류를 단 0.54% BER로 줄여 기존 동기화 코드 방법 대비 19배 향상된 성능을 보였다.
• 워터마크가 잘린다거나 이동된 경우에도 높은 성능 유지를 유지하며, 유효 사용 길이(EUL)의 10%를 초과해도 BER이 서서히 증가할 뿐이며, EUL 이동이 35%에 도달할 경우에만 성능이 급격히 악화된다.
• 침묵 세그먼트에 워터마크를 삽입할 경우 훈련 데이터에 포함되지 않아 청각적 잡음이 발생하지만, 삽입 후 SNR < 25 dB 세그먼트를 필터링하는 전략으로 이를 완화할 수 있다.
• 32 bps 모델은 총 250만 개의 파라미터를 가지며, 그 중 43%는 메시지 인코딩/디코딩 레이어에 할당된다. GPU에서는 54.2× 실시간, CPU에서는 7.7× 실시간으로 추론가능하며, BFD 탐지는 CPU에서 0.38× 실시간으로 작동한다.