[論文レビュー] Audio Transport: A Generalized Portamento via Optimal Transport

Trevor Henderson, Justin Solomon|arXiv (Cornell University)|Jun 16, 2019

Music Technology and Sound Studies参考文献 21被引用数 8

ひとこと要約

本稿では、1次元最適輸送問題を解くことで、任意の2つの音声信号間の音高を移行させるリアルタイム音響エフェクト「オーディオトランスポート」を紹介する。この手法により、モノフォニックおよびポリフォニック音源、異なる楽器間ですら滑らかで音楽的に直感的なグルーブが実現され、広範な入力に対して最小限のアーティファクトで実現される。

ABSTRACT

This paper proposes a new method to interpolate between two audio signals. As an interpolation parameter is changed, the pitches in one signal slide to the pitches in the other, producing a portamento, or musical glide. The assignment of pitches in one sound to pitches in the other is accomplished by solving a 1-dimensional optimal transport problem. In addition, we introduce several techniques that preserve the audio fidelity over this highly non-linear transformation. A portamento is a natural way for a musician to transition between notes, but traditionally it has only been possible for instruments with a continuously variable pitch like the human voice or the violin. Audio transport extends the portamento to any instrument, even polyphonic ones. Moreover, the effect can be used to transition between different instruments, groups of instruments, or really any transient-less audio signals. The audio transport effect operates in real-time; we open-source implementation is provided. In experiments with sinusoidal inputs, the interpolating effect is indistinguishable from ideal sine sweeps. In general, the effect produces clear, musical results for a wide variety of inputs.

研究の動機と目的

• 任意の音声信号間で表現的でポートアモントに似た遷移を可能にするリアルタイム音響エフェクトの開発。これは、従来の連続的ピッチを持つ楽器に限らない音楽的グルーブの拡張を目的とする。
• 極めて非線形な補間においても、音質と音楽性を保持する形で、1つの音声信号の音高を別の信号にマッピングする課題の解決。
• 最適輸送理論を音声合成に初めて適用し、単一の補間パラメータ k ∈ [0,1] を用いた自動的かつパラメータ制御可能な補間を可能にする。
• 特に複雑または対照的なトーンカラーの間で生じる、ボリュームの低下や位相歪みなどのアーティファクトを解消する。
• 従来のピッチベンドやフェーズボクロニクス手法に制限されることがない、ポリフォニックおよび非モノフォニック信号に対しても動作するようにする。

提案手法

• 本手法は、1次元最適輸送を用いて、Wasserstein-2距離を最小化するように、ソース信号の周波数成分をターゲット信号の対応する成分にマッピングする変位マップを計算する。
• 輸送の前段階として、時間周波数再割り当てを適用し、聴覚的に意味のある成分に周波数スペクトルを分割することで、アライメントの精度を向上させ、アーティファクトを低減する。
• 位相の蓄積を分析ウィンドウ全体にわたり拡張することで、補間中に位相の不連続性やフェーズ歪みを防止する。
• 補間は、変更を加えた短時間フーリエ変換（STFT）を用いた時間周波数ドメインで実行され、輸送マップに基づくスペクトルを再合成して振幅と位相を再構成する。
• 主なイノベーションは、単一の補間パラメータ k ∈ [0,1] を用いて、ソースおよびターゲットスペクトルのブレンドを制御する点であり、これにより最適輸送マップを介した制御が可能になる。
• 手動でのピッチ追跡を避けるために、スペクトルエネルギー分布と輸送に基づく割り当てに依存することで、複雑な信号の自動処理が可能になる。

実験結果

リサーチクエスチョン

• RQ1 任意の音声信号、特にポリフォニックでトーンカラーの異なる音源間でも、最適輸送を用いて自動的に音楽的に整合性のあるポートアモント効果を生成できるか？
• RQ2 極めて非線形なスペクトル補間において、最適輸送をどのように調整すれば、音質を保持し、聴覚的アーティファクトを最小限にできるか？
• RQ3 時間周波数再割り当ては、輸送に基づく音声補間の聴覚的品質をどのように向上させるか？
• RQ4 1つの周波数がターゲットで広い周波数範囲にマッピングされる場合に生じるスペクトルエネルギーのキャンセルやボリュームの低下は、どのように処理されるか？
• RQ5 この輸送ベースのエフェクトは、低レイテンシでリアルタイムに動作可能であり、ライブパフォーマンスやインタラクティブ音楽システムへの応用が可能か？

主な発見

• オーディオトランスポート効果は、正弦波入力の場合、理想の正弦波スイープと聴覚的に区別できない滑らかで音楽的なポートアモント遷移を生成する。
• モノフォニックおよびポリフォニック音源、さまざまな楽器、さらには完全な楽曲を含む広範な音声入力に対しても、明確でアーティファクトのない、音楽的に整合性のある結果が得られる。
• ソースの1つの周波数がターゲットで広範囲の周波数にマッピングされる場合、特に2つの信号のスペクトル複雑性に顕著な差がある場合にボリュームの低下が生じる。
• FFTの分解能の制限により周波数遷移に「段階状」のアーティファクトが生じるが、その時間周波数スケールが小さく、聴き取りテストでは無音とされる。
• ハイハットなどのトランジェントはスペクトルのぼやけによりぼやけてしまうため、トランジェントが存在する際には、直接比較で元の信号が常に出力よりも好まれる。
• この効果はリアルタイムで動作可能であり、MIDIやその他の制御ソースによる制御が可能で、ライブパフォーマンス統合やフィードバックベースのサウンドデザインが可能になる。