[論文レビュー] WavMark: Watermarking for Audio Generation

Guangyu Chen, Yu Wu+4 more|arXiv (Cornell University)|Aug 24, 2023

Advanced Steganography and Watermarking Techniques被引用数 6

ひとこと要約

WavMarkは、1秒間の音声セグメントに32ビットの目に見えない水増しを埋め込む、逆変換可能なニューラルネットワークベースの音声水増しフレームワークを提案する。10の攻撃に対して平均ビット誤り率（BER）が0.48%にとどまり、SOTAより2800%優れている。また、自動水増し位置特定が可能で、多様な音声ドメインをサポートする。

ABSTRACT

Recent breakthroughs in zero-shot voice synthesis have enabled imitating a speaker's voice using just a few seconds of recording while maintaining a high level of realism. Alongside its potential benefits, this powerful technology introduces notable risks, including voice fraud and speaker impersonation. Unlike the conventional approach of solely relying on passive methods for detecting synthetic data, watermarking presents a proactive and robust defence mechanism against these looming risks. This paper introduces an innovative audio watermarking framework that encodes up to 32 bits of watermark within a mere 1-second audio snippet. The watermark is imperceptible to human senses and exhibits strong resilience against various attacks. It can serve as an effective identifier for synthesized voices and holds potential for broader applications in audio copyright protection. Moreover, this framework boasts high flexibility, allowing for the combination of multiple watermark segments to achieve heightened robustness and expanded capacity. Utilizing 10 to 20-second audio as the host, our approach demonstrates an average Bit Error Rate (BER) of 0.48\% across ten common attacks, a remarkable reduction of over 2800\% in BER compared to the state-of-the-art watermarking tool. See https://aka.ms/wavmark for demos of our work.

研究の動機と目的

• 音声クラーニングや合成音声の乱用によるリスク、例えば音声詐欺や模倣の増加に対処する。
• 従来のDNNベースの水増し手法が自動水増し位置特定機能を欠き、容量と目立たなさに欠けるという限界を克服する。
• 合成音声検出および著作権保護の分野で、信頼性の高い実世界での音声水増しの導入を可能にするシステムを開発する。
• 一般的な音声攻撃に対して頑健性を高めつつ、高い音声品質と低い目立たなさを維持する。
• 大規模かつマルチドメインのトレーニングにより、スピーチ、音楽、イベント音声を含む多様な音声タイプに一般化できるようにする。

提案手法

• 共有パラメータを用いてエンコードとデコードのプロセスを統合する逆変換可能なニューラルネットワーク（INN）を活用し、頑健性を高め、高容量水増しを実現する。
• 外部の同期コードに依存しない、新しいBFD（バックワード・フォワード検出）法を用いた水増し位置特定を可能にするシフトモジュールを導入する。
• 1秒間の音声セグメントに32ビットのメッセージを埋め込み、重複または隣接するセグメントに繰り返し水増しを適用することで、全長保護を実現する。
• スピーチ、音楽、環境音を含む多様なデータセット（合計5,000時間）を用いてトレーニングし、未知の音声生成モデル出力への一般化を向上させる。
• 音質の主観的指標としてSNRとPESQを用い、ノイズの多いセグメントを避けるためにSNR < 25 dBのフィルタリングを適用する。
• 10ビットの32ビットペイロードをパターンベースで使用して水増しセグメントを特定する戦略を採用し、位置の事前知識なしに検出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 逆変換可能なニューラルネットワークは、目立たなさを保ちつつ、頑健性と容量を向上させる音声水増しに効果的に適用可能か？
• RQ2 外部の同期コードに依存せずに水増し位置特定を実現する方法は何か？ また、その影響はシステムの信頼性とパフォーマンスにどう現れるか？
• RQ3 多様でマルチドメインの音声データでトレーニングすることで、合成音声向け水増しにおける一般化性と頑健性はどの程度向上するか？
• RQ4 さまざまな音声攻撃下で、水増し容量、目立たなさ、頑健性のトレードオフはどのようなものか？
• RQ5 静音または無音のセグメントに水増しを埋め込むとモデルはどのように動作するか？ また、その対策は何か？

主な発見

• WavMarkは10の一般的な音声攻撃に対して平均ビット誤り率（BER）が0.48%にとどまり、SOTAツールAudiowmarkより2800%低い。これにより、優れた頑健性を示した。
• 従来のDNNベースの手法と比較して、SNRが6 dB向上（36 dB以上）し、高い目立たなさを達成した。
• BFD法による自動水増し位置特定により、誤位置特定によるデコード誤りはわずか0.54% BERにまで低下し、従来の同期コード手法と比較して19倍の改善を達成した。
• 水増しが切り取られたりずれても高い性能を維持し、有効利用長（EUL）の10%を超えるとBERが徐々に上昇するが、35% EULずれると急激に性能が低下する。
• 静音セグメントに水増しを埋め込むと、トレーニングデータに含まれないため聴き取り可能なノイズが発生するが、エンコード後、SNR < 25 dBのセグメントをフィルタリングすることでこれを緩和できる。
• 32 bpsモデルは250万パラメータを有し、そのうち43%がメッセージエンコード/デコード層に割り当てられている。GPU上では54.2倍のリアルタイム性能、CPU上では7.7倍で推論が可能で、BFD検出はCPU上で0.38倍のリアルタイム性能を達成している。