[論文レビュー] Audio Texture Synthesis with Scattering Moments

Joan Bruna, Stéphane Mallat|arXiv (Cornell University)|Nov 2, 2013

Speech and Audio Processing参考文献 4被引用数 33

ひとこと要約

本稿では、繰り返し複素ウェーブレット変換と絶対値演算を経て得られる統計的表現であるスキャatteringモーメントを用いた音声テクスチャ合成手法を提案する。単一の音声信号からこれらのモーメントを推定し、勾配降下法を用いて合成信号を最適化することで、それらを一致させることで、402係数のみで高精度なテクスチャ合成を実現し、最先端手法と比較して顕著に少ない係数数を達成している。また、非ガウス分布のトランジェントや変調を保持している。

ABSTRACT

We introduce an audio texture synthesis algorithm based on scattering moments. A scattering transform is computed by iteratively decomposing a signal with complex wavelet filter banks and computing their amplitude envelop. Scattering moments provide general representations of stationary processes computed as expected values of scattering coefficients. They are estimated with low variance estimators from single realizations. Audio signals having prescribed scattering moments are synthesized with a gradient descent algorithms. Audio synthesis examples show that scattering representation provide good synthesis of audio textures with much fewer coefficients than the state of the art.

研究の動機と目的

• スキャatteringモーメントを用いて、コンパクトかつ知覚的に正確な音声テクスチャ表現を開発すること。
• 音声信号の非ガウス的性質を捉えるのに第二階の統計量の限界を克服すること。
• 従来の手法と比較して、音声テクスチャ合成に必要な係数数を削減すること。
• トランジェントおよび振幅変調構造を保持することで、現実的な音声テクスチャの合成を可能にすること。
• スキャatteringモーメントが、テクスチャ合成に一貫的かつ情報豊かな記述子を提供することを検証すること。

提案手法

• 繰り返し複素ウェーブレット変換と絶対値演算を用いてスキャattering変換を計算し、マルチスケールな振幅および周波数変調を抽出する。
• ウェーブレット係数の振幅の期待値としてスキャatteringモーメントを推定し、単一の信号実現からの低分散推定器を用いる。
• 第一および第二階のスキャatteringモーメント（Q1=4, Q2=1）をコンパクトな記述子として使用し、合成に合計402係数を割り当てる。
• 目標と合成されたスキャatteringモーメントの差を最小化するために、Levenberg-Marquardtアルゴリズムを用いた勾配降下法を適用する。
• 周波数スキャatteringモーメント（Q1=1）を組み込むことで、周波数帯域間での振幅変調の同期を向上させる。
• スキャattering係数の差に基づく非線形最小二乗目的関数を最小化することで、合成プロセスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 スキャatteringモーメントは、非ガウス的特性を捉えるのに適したコンパクトかつ情報豊富な音声テクスチャ表現を提供できるか？
• RQ2 第二階のスキャatteringモーメントを含めることで、第一階のモーメントと比較して、合成音声の知覚的品質がどの程度向上するか？
• RQ3 従来の手法と比較して、スキャatteringモーメントは、高品質な音声テクスチャ合成に必要な係数数をどの程度削減できるか？
• RQ4 周波数スキャatteringモーメントは、 clap や炎の割れ音のようなワイドバンドおよびインパルス的テクスチャの合成をどの程度向上させるか？
• RQ5 同一テクスチャの複数の実現において、スキャattering表現は一貫性を示すのか？これにより、1つの訓練信号からの信頼性の高い合成が可能になるか？

主な発見

• 第一階のスキャatteringモーメントのみを用いた合成では、ガウス過程に類似した信号が得られ、ハンマーストライクや拍手のようなトランジェントを捉えることはできない。
• 第二階のスキャatteringモーメントを含めることで、ジャッキハマークや紙のきしめん音のようなインパルス的かつ非ガウス的現象の正確な合成が可能になる。
• 402係数（第一階46、第二階266、周波数モーメント92）を用いた完全な表現により、知覚的に高品質な再構成が達成される。
• 周波数スキャatteringモーメント（Q1=1、+120係数）を追加することで、周波数帯域間での振幅変調の同期が向上し、現実的なトランジェント再現に不可欠な要因となる。
• Levenberg-Marquardtアルゴリズムは、20〜40イタレーションで収束し、それぞれ相対近似誤差10−2および10−4を達成する。
• 単一の実現からの安定的かつ低分散の推定器を提供するため、スキャatteringモーメントは高次モーメントに基づく手法を凌駕し、頑健な合成を可能にする。