[논문 리뷰] Reverse the auditory processing pathway: Coarse-to-fine audio reconstruction from fMRI

Che Liu, Changde Du외 2명|arXiv (Cornell University)|2024. 05. 29.

Hearing Loss and Rehabilitation인용 수 4

한 줄 요약

이 논문은 인간 청각 시스템의 계층적 처리 방식을 모방하여 fMRI에서 음성 재구성하는 코arse-to-fine 프레임워크를 제안한다: 먼저 fMRI를 저차원 CLAP 의미 공간으로 디코딩하고, 그 다음에 세밀한 음향 특징을 위한 AudioMAE 잠재 공간으로 정밀화한 후, 이를 조건부로 삼아 고품질 음성을 생성하는 잠재 확산 모델(Latent Diffusion Model)을 활용한다. 이 방법은 세 가지 데이터셋(Brain2Sound, Brain2Music, Brain2Speech)에서 FD, FAD, KL 지표로 최신 기술 수준(SOTA) 성능을 달성하였으며, 의미적 디코딩이 열악할 경우 의미 프롬프트를 통해 재구성 품질을 더욱 향상시켰다.

ABSTRACT

Drawing inspiration from the hierarchical processing of the human auditory system, which transforms sound from low-level acoustic features to high-level semantic understanding, we introduce a novel coarse-to-fine audio reconstruction method. Leveraging non-invasive functional Magnetic Resonance Imaging (fMRI) data, our approach mimics the inverse pathway of auditory processing. Initially, we utilize CLAP to decode fMRI data coarsely into a low-dimensional semantic space, followed by a fine-grained decoding into the high-dimensional AudioMAE latent space guided by semantic features. These fine-grained neural features serve as conditions for audio reconstruction through a Latent Diffusion Model (LDM). Validation on three public fMRI datasets-Brain2Sound, Brain2Music, and Brain2Speech-underscores the superiority of our coarse-to-fine decoding method over stand-alone fine-grained approaches, showcasing state-of-the-art performance in metrics like FD, FAD, and KL. Moreover, by employing semantic prompts during decoding, we enhance the quality of reconstructed audio when semantic features are suboptimal. The demonstrated versatility of our model across diverse stimuli highlights its potential as a universal brain-to-audio framework. This research contributes to the comprehension of the human auditory system, pushing boundaries in neural decoding and audio reconstruction methodologies.

연구 동기 및 목표

• 비침습적 fMRI로부터 고해상도이자 의미적으로 정확한 음성을 재구성하는 데 도전하는 문제를 해결하기 위해 뇌의 계층적 청각 처리 경로를 모방한다.
• 의미와 음향 디코딩을 분리하여 직접적인 고차원 fMRI-에서-음성 매핑을 피하고 뇌-음성 재구성 성능을 향상시킨다.
• 의미 특징이 약하거나 노이즈가 많을 경우에 조건부 프롬프트를 도입하여 재구성 품질을 향상시킨다.
• 다양한 음성 모odalities(발화, 음악, 환경음)에 적용 가능한 일반적인 뇌-음성 프레임워크를 구축한다.

제안 방법

• fMRI 데이터를 저차원 CLAP 임베딩 공간으로 디코딩하여 거시적 의미 특징을 추출한다.
• 이 의미 특징들이 고차원 AudioMAE 잠재 공간으로의 fMRI 디코딩을 안내하여 세밀한 음향 표현을 캡처한다.
• 디코딩된 AudioMAE 특징들을 잠재 확산 모델(Latent Diffusion Model, LDM)의 조건부 입력으로 사용하여 멜-스펙트로그램을 생성한다.
• 생성된 멜-스펙트로그램은 보코더를 통해 웨이브폼으로 변환되어 최종 음성 출력을 생성한다.
• 텍스트 또는 음성 프롬프트를 통한 조건부 재구성을 가능하게 하며, 훈련 중에 지표의 영향력을 조절하는 하이퍼파라미터 $P_{gt}$ 가 활용된다.
• FD, FAD, KL, PCC 등의 지표를 사용하여 세 가지 공개 fMRI 데이터셋(Brain2Sound, Brain2Music, Brain2Speech)에서 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 직접적인 세밀한 디코딩 대비 코어스-투-파인 디코딩 파이프라인은 fMRI에서의 음성 재구성 품질을 향상시킬 수 있는가?
• RQ2 CLAP에서 유도한 의미 특징을 활용할 경우 재구성된 음성의 정밀도와 의미 정확도는 어떻게 향상되는가?
• RQ3 디코딩된 의미 특징이 열악할 경우 의미 프롬프트는 어느 정도 재구성 품질을 향상시킬 수 있는가?
• RQ4 제안된 방법은 발화, 음악, 환경음과 같은 다양한 음성 유형으로 일반화되는가?

주요 결과

• 코어스-투-파인 방법은 세 데이터셋에서 모두 최신 기술 수준 성능을 달성하였으며, FD 점수는 각각 6.102(Brain2Music), 11.636(Brain2Speech), 6.587(Brain2Sound)였고, FAD 점수는 각각 1.504, 4.866, 1.341이었다.
• 감각적 품질과 의미 정확도 측면에서 단일 세밀한 디코딩 대비 우수한 성능을 보였으며, 낮은 KL 및 KL-S 점수와 높은 PCC 점수로 이를 입증하였다.
• 조건부 재구성에서 $P_{gt} = 0.25$ 일 때 PCC가 가장 높았는데, 이는 Brain2Music에서 0.454, Brain2Speech에서 0.393를 기록하여 지도력과 일반화 사이의 최적 균형을 이룩한 것으로 나타났다.
• 의미 디코딩이 약한 Brain2Speech 데이터셋에서는 음성 프롬프트가 PCC를 0.379에서 0.315로 낮추고 FAD를 4.866에서 4.148로 감소시켜, 낮은 신호 환경에서의 프롬프팅 효과를 입증하였다.
• Brain2Music 데이터셋에서 텍스트 프롬프트는 같은 장르의 클립들 간 개성 손실로 성능을 떨어뜨렸다. 이는 프롬프트 설계가 의미 다양성과 일치해야 한다는 점을 시사한다.
• 의미 특징이 열악할 경우 의미 프롬프트 통합이 재구성 품질을 크게 향상시켜, 본 방법의 강건성과 적응 가능성의 타당성을 입증하였다.