[論文レビュー] On Time-frequency Scattering and Computer Music

Vincent Lostanlen|arXiv (Cornell University)|Oct 10, 2018

Speech and Audio Processing参考文献 7被引用数 5

ひとこと要約

本稿は、時間周波数ウェーブレット変換と絶対値非線形性を段重ねにし、タイトフレーム条件によってエネルギー保存を確保することで、音響テクスチャの数学的に厳密で可逆な表現である時間周波数スキャatteringを導入する。この手法は、ムジック・コンcréートの知覚的リアリズムとエレクトロニクス音楽の構成的柔軟性を統合する。数値的なスキャattering係数表から、複雑な聴覚的知覚を忠実に再構成可能であり、コンcrete音から電子スコアへ、そして再び元の音声波形へと閉じたループを形成する。

ABSTRACT

Time-frequency scattering is a mathematical transformation of sound waves. Its core purpose is to mimick the way the human auditory system extracts information from its environment. In the context of improving the artificial intelligence of sounds, it has found succesful applications in automatic speech transcription as well as the recognition of urban sounds and musical sounds. In this article, we show that time-frequency scattering can also be useful for applications in contemporary music creations.

研究の動機と目的

• 計算音楽設計において、ムジック・コンcréートの忠実度とエレクトロニクス音楽の表現的柔軟性を統合すること。
• 時間周波数の複雑なスペクトロテンポラル変調を複数スケールで捉える数学的に整合性のある可逆的音響表現を開発すること。
• 神経生理学的聴覚処理モデル（STRF）とコンピュータ音楽作曲の実用的ツールを橋渡しすること。
• 元の波形にアクセスせずに、スキャattering係数のみから複雑な聴覚的テクスチャを再構成できることを実現すること。
• 知覚的に意味のある次元なしのスキャattering係数を通じて、音響テクスチャの表現と操作を形式的フレームワークで提供すること。

提案手法

• 対数的解像度 $2^{\nu}$ で調整されたモーレット・ウェーブレットを用いて、時間周波数ドメインへの時間スキャatteringの拡張を行い、ウェーブレットモジュラス操作の段重ねを形成する。
• 2層構造のスキャatteringネットワークを適用：まず時間方向（時間的変調）、次に周波数方向（スペクトル的変調）に作用し、パス $p = (\nu_1, \nu_2, \nu_1::\nu_1)$ を定義する。
• フィルタバンクにタイトフレーム条件を課す：$1 - \varepsilon \lesssim \widehat{\phi}(\omega::v_r)^2 + \frac{1}{2}\sum_{\gamma::v_r} |\widehat{\psi}_{\gamma::v_r}|^2(\omega::v_r) \lesssim 1$ により、各層間でのエネルギー保存を保証する。
• スキャattering係数を次元なしの量として、百万分率（ppm）単位で表現することで、知覚的エネルギー分布への直接的なマッピングを可能にする。
• Waldspurger（2016）の可逆性定理を用いて、無限の深さの極限において、元の信号がスキャattering係数から再構成可能であることを保証する。
• スキャattering係数の表形式表現を用いて、元の波形を保存せずに、作品（例：FAVN）の聴覚的知覚を符号化する。

実験結果

リサーチクエスチョン

• RQ1 時間周波数スキャattering表現は、ムジック・コンcréートの例にあるような複雑な音響テクスチャの知覚的構造を忠実に符号化できるか？
• RQ2 生物学的インスピレーションを受ける聴覚モデル（STRF）を、可逆的かつ構成的に使えるようにコンピュータ音楽に応用できるか？
• RQ3 数値的テーブルとしてのスキャattering係数のみから、元の音響体験をどの程度再構成できるか？
• RQ4 エネルギー保存と可逆性を保ちつつ、時間的および周波数的変調を同時に含むようにスキャattering変換を一般化できるか？
• RQ5 知覚的量子化と表形式の組織化が、数学的構造に基づく新しい音楽的創作形態を可能にする役割は何か？

主な発見

• 時間周波数スキャattering変換は、タイトフレーム条件のおかげで、すべての層においてエネルギーを保存する。これにより、スキャattering表現の全エネルギーは、元の信号 $\mathbf{U}_0(t)$ のエネルギーと等しくなる。
• スキャattering係数 $\mathbf{U}_m(t, \lambda)$ は次元なしで、0から1の間の値をとり、百万分率（ppm）にスケーリングされている。これにより、知覚的エネルギーの正確な数値符号化が可能になる。
• Waldspurgerによる証明に従い、$m \to \infty$ の極限において、この表現は可逆的であり、元の波形がスキャattering係数から完全に再構成可能である。
• 本手法により、元の音声にアクセスせずに、作品（例：FAVN）のスキャattering係数テーブルからのみ音響化が可能であり、完全な再構成能力を示している。
• スキャatteringパス $p = (\nu_1, \nu_2, \nu_1::\nu_1)$ は、直接的に知覚的に意味のある特徴に対応する：周波数（20 Hz – 20 kHz）、時間的変調周波数（1 Hz – 1 kHz）、周波数的変調スケール（1オクターブあたりのサイクル数）。
• 確率的サンプリングと有限な計算リソースにもかかわらず、再構成された音声は元の音声に非常に近い近似となっている。これは、このフレームワークのロバストネスと知覚的忠実度を示している。