[論文レビュー] Musical Metamerism with Time--Frequency Scattering

Vincent Lostanlen, Han Han|arXiv (Cornell University)|Feb 12, 2026

Music and Audio Processing被引用数 0

ひとこと要約

論文は、Kymatioのジョイント時-周波数散乱（JTFS）を用いて、前処理なしで勾配ベースの再構成を可能にし、任意の音声から音楽的メタマーを生成する方法を提案する。メタマーは、スケールTの時間-周波数領域とピッチレジスタFの知覚的輪郭統計を保持する。

ABSTRACT

The concept of metamerism originates from colorimetry, where it describes a sensation of visual similarity between two colored lights despite significant differences in spectral content. Likewise, we propose to call ``musical metamerism'' the sensation of auditory similarity which is elicited by two music fragments which differ in terms of underlying waveforms. In this technical report, we describe a method to generate musical metamers from any audio recording. Our method is based on joint time--frequency scattering in Kymatio, an open-source software in Python which enables GPU computing and automatic differentiation. The advantage of our method is that it does not require any manual preprocessing, such as transcription, beat tracking, or source separation. We provide a mathematical description of JTFS as well as some excerpts from the Kymatio source code. Lastly, we review the prior work on JTFS and draw connections with closely related algorithms, such as spectrotemporal receptive fields (STRF), modulation power spectra (MPS), and Gabor filterbank (GBFB).

研究の動機と目的

• ウェーブフォームが異なっていても知覚的類似性としての音楽的メタマーの研究を動機づける。
• manual preprocessing を伴わず、任意の音声からメタマーを合成する方法を提案する。
• JTFSベースの特徴抽出と、時間シフトおよび転置への不変性を説明する。
• coarsened JTFS特徴からの勾配ベース再構成が輪郭知覚と整合するメタマーを生み出すことを示す。

提案手法

• JTFSを、時間における聴覚フィルタバンクと周波数対数領域でのモジュレーション分析のカスケードとして説明する。
• 第一/第二次JTFS係数を定義し、それらを平均化して時間平移と周波数転置への不変性を得る。
• JTFS統計を合わせるよう反復的に更新する勾配降下法によるランダム信号のメタマー再構成アルゴリズムを説明する。
• Gaussian低パス平均化を用いて、時間スケールTと周波数スケールFで不変性を達成する。
• PyTorch/Kymatioを用いた散乱ネットワークを通る勾配のバックプロパゲーションを説明し、反復的合成を行う。

Figure 1: Interference pattern between wavelets $\boldsymbol{\psi}_{\alpha}(t)$ and $\boldsymbol{\psi}_{\beta}(\log_{2}\lambda)$ in the time–frequency domain $(t,\log_{2}\lambda)$ for different combinations of amplitude modulation rate $\alpha$ and frequency modulation scale $\beta$ . Darker shades

実験結果

リサーチクエスチョン

• RQ1 manual preprocessingなしで任意の音声から音楽的メタマーをどのように合成できるか？
• RQ2 JTFSを介したどのスペクトログラム-時系列統計が、変化した波形間の知覚的類似性を支えるか？
• RQ3 coarsened JTFS係数はHonigらの多成分輪郭知覚のアイデアを保持するメタマーを生み出せるか？
• RQ4 JTFS特徴からの再構成における勾配ベース最適化の役割は？
• RQ5 JTFSベースのメタマーはSTRF/MPS/GBFBのような音楽認知の他のスペクトログラム表現とどう関係するか？

主な発見

• JTFSは微分可能で勾配ベースの再構成を可能にし、音声信号のメタマーを生成できる。
• 時間および周波数低パスフィルタを用いたJTFS係数の粗化は、少しの時間シフトと転置に対する不変性を生み出し、輪郭ベースの音楽知覚と調和する。
• 再構成は波形の正確さよりもスペクトログラム-時系列輪郭統計の知覚的類似性を保持する。
• この方法は転写、ビート追跡、ソース分離を必要とせず、任意の音声信号で機能する。
• このアプローチはJTFSをSTRF、MPS、GBFBなどの関連フレームワークと結びつけ、既存の聴覚モデルの文脈でメタマーを位置づける。