[論文レビュー] Wavelet Scattering on the Pitch Spiral

Vincent Lostanlen, Stéphane Mallat|arXiv (Cornell University)|Jan 3, 2016

Image and Signal Denoising Methods参考文献 10被引用数 14

ひとこと要約

本稿では、対数周波数をオクターブインデックスとともにねじり状の螺旋に折りたたむことで、周波数の滑らかさとスペクトルエンVELOープのダイナミクスを線形化する波ウェーブレットに基づく表現であるスパイラルスキャattering変換を導入する。時間、カラマ（対数周波数）、オクターブインデックスの各次元で波ウェーブレット変換を段階的に適用し、絶対値非線形性を適用することで、ピッチの滑らかさとトーンの変化を安定的かつ分離可能に表現する。非定常な調和信号に対しては、閉形式の近似が可能である。

ABSTRACT

We present a new representation of harmonic sounds that linearizes the dynamics of pitch and spectral envelope, while remaining stable to deformations in the time-frequency plane. It is an instance of the scattering transform, a generic operator which cascades wavelet convolutions and modulus nonlinearities. It is derived from the pitch spiral, in that convolutions are successively performed in time, log-frequency, and octave index. We give a closed-form approximation of spiral scattering coefficients for a nonstationary generalization of the harmonic source-filter model.

研究の動機と目的

• 検出や学習を必要とせずに、時間的に変化する調和的構造を音声で表現する課題に取り組む。
• MFCC や CQT といった従来手法の限界を克服する。これらは、時間周波数変形に対して、グローバルな調和的規則性を捉えられない。
• ピッチスパイラルの幾何構造を活用し、オクターブ間の調和部分音を整列させ、時間周波数平面で見えにくくなっていた規則性を明らかにする。
• 時間的に変化するピッチおよびスペクトルエンVELOープの変調を線形化しつつ、微小な変形に対して不変性を保つスキャattering変換を開発する。
• ピッチ（$\theta(t)$）およびスペクトルエンVELOープ（$\eta(t)$）に時間歪みを含む非定常なソース・フィルターモデルに対して、スパイラルスキャattering係数の閉形式近似を提供する。

提案手法

• 対数周波数を、オクターブ間隔が1回転に一致する螺旋多様体に写像することでピッチスパイラルを定義し、調和部分音が径方向に整列するようにする。
• 3段階のウェーブレットスキャattering変換を構築する：まず、時間局在のウェーブレットで信号を畳み込み、次に絶対値を適用する。次に、その結果をカラマ（対数周波数）に沿うウェーブレットで畳み込み、最後にオクターブインデックスに沿うウェーブレットで畳み込む。
• 周波数分解能をスケールにわたって維持するため、定常Q（Constant-Q）性を持つウェーブレットを用いることで、微小な時間歪みに対して安定性を確保する。
• 各畳み込みの後に複素絶対値を適用し、非線形性を導入することで、変形に対する安定性を向上させる。
• ピッチ（$\theta(t)$）およびスペクトルエンVELOープ（$\eta(t)$）に時間歪みを含む非定常ソース・フィルターモデルとして信号をモデル化し、スパイラルスキャattering係数の閉形式近似を導出する。
• その結果、ピッチの滑らかさ（$\ddot{\theta}/\dot{\theta}$）とスペクトルエンVELOープの変化（$\ddot{\eta}/\dot{\eta}$）が分離され、ウェーブレット応答のフーリエ解析により瞬間周波数が捉えられることを示す。

実験結果

リサーチクエスチョン

• RQ1 調和的音声において、時間的に変化するピッチおよびスペクトルエンVELOープのダイナミクスを線形化する表現はどのように実現できるか？
• RQ2 ピッチスパイラルの幾何構造を活用することで、標準的な時間周波数表現では不規則に見える調和信号に、隠れた規則性を回復できるか？
• RQ3 バイブラートやグリッサンドのような時間周波数変形に対して、スパイラルスキャattering変換はどの程度安定性を保つか？
• RQ4 非定常なソース・フィルターモデルに時間歪みを含む場合、スパイラルスキャattering係数に対して閉形式の式が導出可能か？
• RQ5 スキャattering表現において、ピッチとスペクトルエンVELOープの変調はどのように分離されるか？

主な発見

• スパイラルスキャattering変換は、ピッチスパイラルの幾何的構造を活用することで、調和的音声におけるピッチおよびスペクトルエンVELOープのダイナミクスを効果的に線形化した。
• 定常Qウェーブレットの性質と絶対値非線形性のおかげで、微小な時間歪み（例：バイブラート、トゥルーロ）に対して安定性を達成した。
• 非定常ソース・フィルターモデルに対してスパイラルスキャattering係数の閉形式近似は、式 (21) で与えられ、ピッチとトーンの変調の寄与が明確に分離されている。
• ピッチの滑らかさの瞬間周波数は $-\beta \ddot{\theta}(t)/\dot{\theta}(t)$ として、スペクトルエンVELOープの変化のそれは $-\gamma \ddot{\eta}(t)/\dot{\eta}(t)$ として捉えられ、これにより分離が可能になった。
• 図3は、トロンボーン信号において、エネルギーが係数空間の明確に分離された領域に集中しており、アタック（ピッチと明るさの上昇）とリリース（ピッチと明るさの低下）のフェーズを明確に区別していることを示している。