[論文レビュー] Reverse the auditory processing pathway: Coarse-to-fine audio reconstruction from fMRI

Che Liu, Changde Du+2 more|arXiv (Cornell University)|May 29, 2024

Hearing Loss and Rehabilitation被引用数 4

ひとこと要約

本論文は、人間の聴覚系の階層的処理を模倣する、fMRIからの粗大から細かい音声再構成フレームワークを提案する。まずfMRIを低次元のCLAP意味的空間に復号し、次に細粒度な音響特徴を捉えるAudioMAE潜在空間に精錬する。その後、その潜在空間を条件付き入力として用いて、高品質な音声を生成する潜在拡散モデル（LDM）を適用する。本手法は、Brain2Sound、Brain2Music、Brain2Speechの3つのデータセットにおいて、FD、FAD、KL指標で最先端の性能を達成しており、意味的プロンプトの導入により、意味的復号が不十分な場合でも再構成品質が向上する。

ABSTRACT

Drawing inspiration from the hierarchical processing of the human auditory system, which transforms sound from low-level acoustic features to high-level semantic understanding, we introduce a novel coarse-to-fine audio reconstruction method. Leveraging non-invasive functional Magnetic Resonance Imaging (fMRI) data, our approach mimics the inverse pathway of auditory processing. Initially, we utilize CLAP to decode fMRI data coarsely into a low-dimensional semantic space, followed by a fine-grained decoding into the high-dimensional AudioMAE latent space guided by semantic features. These fine-grained neural features serve as conditions for audio reconstruction through a Latent Diffusion Model (LDM). Validation on three public fMRI datasets-Brain2Sound, Brain2Music, and Brain2Speech-underscores the superiority of our coarse-to-fine decoding method over stand-alone fine-grained approaches, showcasing state-of-the-art performance in metrics like FD, FAD, and KL. Moreover, by employing semantic prompts during decoding, we enhance the quality of reconstructed audio when semantic features are suboptimal. The demonstrated versatility of our model across diverse stimuli highlights its potential as a universal brain-to-audio framework. This research contributes to the comprehension of the human auditory system, pushing boundaries in neural decoding and audio reconstruction methodologies.

研究の動機と目的

• 非侵襲的fMRIから高精細かつ意味的に正確な音声を再構成する課題に取り組むこと。これは、脳の階層的聴覚処理経路を模倣することを目的とする。
• 意味的および音響的復号を分離することで、高次元のfMRIから音声への直接的マッピングを回避し、脳から音声への再構成を改善すること。
• 意味的特徴が弱いかノイズが多い場合に、復号中に条件付きプロンプトを組み込むことで再構成品質を向上させること。
• 多様な音声モodal（発話、音楽、環境音）に適用可能な普遍的な脳から音声へのフレームワークを確立すること。

提案手法

• 本手法は、fMRIデータを低次元のCLAP埋め込み空間に復号することで、粗粒度な意味的特徴を抽出することから始める。
• 得られた意味的特徴が、fMRIを高次元のAudioMAE潜在空間に再び復号するプロセスを導く。この潜在空間は、細粒度な音響表現を捉える。
• 復号されたAudioMAE特徴は、メルスペクトログラム生成のための条件付き入力として潜在拡散モデル（LDM）に供される。
• 生成されたメルスペクトログラムは、音声波形に変換されるためにボコーダーを用いて変換され、最終的な音声出力が得られる。
• テキストまたは音声プロンプトを介して条件付き再構成が可能であり、訓練中に真値の意味的特徴の影響を制御するハイパーパrameter $P_{gt}$ が導入される。
• 本フレームワークは、FD、FAD、KL、PCCを含む指標を用いて、3つの公開fMRIデータセット（Brain2Sound、Brain2Music、Brain2Speech）で検証された。

実験結果

リサーチクエスチョン

• RQ1 直接的な細粒度復号と比較して、粗大から細かい復号パイプラインがfMRIからの音声再構成品質を向上させられるか。
• RQ2 CLAPからの意味的特徴を活用することで、再構成音声の忠実性と意味的正確性がどのように向上するか。
• RQ3 復号された意味的特徴が不十分な場合に、どの程度意味的プロンプトが再構成品質を向上させられるか。
• RQ4 提案手法が、発話、音楽、環境音を含む多様な音声タイプに一般化可能か。

主な発見

• 粗大から細かい手法は、3つのすべてのデータセットで最先端の性能を達成した。FDスコアは、Brain2Musicで6.102、Brain2Speechで11.636、Brain2Soundで6.587であり、FADスコアはそれぞれ1.504、4.866、1.341であった。
• 本手法は、知覚的および意味的品質の両面で、単独の細粒度復号を上回った。KLおよびKL-Sスコアが低く、PCCスコアが高いことから裏付けられた。
• 条件付き再構成において $P_{gt} = 0.25$ を用いた場合、PCCが最高値（Brain2Musicで0.454、Brain2Speechで0.393）を記録し、ガイドラインと一般化の最適なバランスが達成された。
• 意味的復号が弱いBrain2Speechデータセットでは、音声プロンプトの導入によりPCCが0.379から0.315に低下し、FADが4.866から4.148に低下した。これは、低信号状態におけるプロンプトの有効性を示している。
• Brain2Musicデータセットでは、同じジャンルのクリップ間の個性の喪失が原因で、テキストプロンプトが性能を劣化させた。これは、プロンプト設計が意味的多様性と整合している必要があることを示唆している。
• 意味的特徴が不十分な場合に、意味的プロンプトの統合が再構成品質を顕著に向上させた。これは、本手法のロバストネスと適応性を裏付けるものである。