[논문 리뷰] Brain2Word: Decoding Brain Activity for Language Generation

Nicolas Affolter, Béni Egressy외 2명|arXiv (Cornell University)|2020. 09. 10.

Topic Modeling참고 문헌 27인용 수 14

한 줄 요약

이 논문은 고정된 어휘에서 특정 단어로 fMRI 스캔을 직접 분류하는 신경 자동에코더 모델인 Brain2Word을 제안한다. 이 모델은 검증되지 않은 피험자에 대해 각각 5.22%의 Top-1 정확도와 13.59%의 Top-5 정확도를 달성하며, 기존의 기준 모델들을 크게 앞서며, 복원된 단어들이 GPT-2가 유창하고 주제 관련성이 높은 텍스트를 생성하도록 이끌 수 있음을 보여준다. 이는 뇌 활동을 자연어로 변환하는 데 있어 중요한 진전을 이룬다.

ABSTRACT

Brain decoding, understood as the process of mapping brain activities to the stimuli that generated them, has been an active research area in the last years. In the case of language stimuli, recent studies have shown that it is possible to decode fMRI scans into an embedding of the word a subject is reading. However, such word embeddings are designed for natural language processing tasks rather than for brain decoding. Therefore, they limit our ability to recover the precise stimulus. In this work, we propose to directly classify an fMRI scan, mapping it to the corresponding word within a fixed vocabulary. Unlike existing work, we evaluate on scans from previously unseen subjects. We argue that this is a more realistic setup and we present a model that can decode fMRI data from unseen subjects. Our model achieves 5.22% Top-1 and 13.59% Top-5 accuracy in this challenging task, significantly outperforming all the considered competitive baselines. Furthermore, we use the decoded words to guide language generation with the GPT-2 model. This way, we advance the quest for a system that translates brain activities into coherent text.

연구 동기 및 목표

• 기존의 뇌 복원 모델이 피험자별로 조정된 사전 처리에 의존하고, 검증되지 않은 피험자에게 일반화하지 못하는 한계를 해결하기 위해.
• 학습 중에 테스트 피험자 데이터에 접근할 수 없도록, 직접적으로 fMRI 스캔을 이산적인 단어로 분류함으로써 더 현실적이고 도전적인 평가 설정을 제안하기 위해.
• 대규모 언어 모델을 복원된 뇌 신호로 조건화하여 뇌 복원과 실용적 언어 생성을 연결하기 위해.
• fMRI 복원 결과가 일관성 있고 주제 관련성이 높은 텍스트 생성을 효과적으로 이끌 수 있는지 확인하기 위해.

제안 방법

• 고정된 어휘 내의 v개의 사전 정의된 단어 중 하나로 전체 fMRI 스캔을 직접 매핑하는 신경 자동에코더 모델을 훈련한다.
• 최소한의 외부 지식으로서 영역의 관심 영역(ROIs)만을 사용하여, 피험자 간에 일반화 가능한 특징을 학습할 수 있도록 한다.
• 학습 중에 사용되지 않은 피험자(n−1명)의 fMRI 데이터를 사용해 자기지도 학습 전처리 단계를 적용하여, 검증되지 않은 피험자에 대한 일반화 능력을 향상시킨다.
• fMRI 스캔에서 복원된 상위 5개 단어를 앵커 토큰으로 사용하여 GPT-2 언어 생성을 조건화함으로써 주제 일致성에 기여한다.
• 각 실행당 30개 토큰의 텍스트를 생성하고, 퍼플렉서티, 단어 수, 관련 단어 수를 지표로 하여 fMRI 조건화 유무에 따른 성능을 비교한다.
• 생성 품질과 주제 일치도를 신뢰성 있게 평가하기 위해 각 fMRI 스캔에 대해 10개의 랜덤 초기 문맥을 사용한다.

실험 결과

연구 질문

• RQ1 뇌 해부학적 구조와 스캔 정렬의 개인 간 변동성에도 불구하고, 훈련 중에 볼 수 없었던 피험자에게도 fMRI에서 단어로의 복원을 일반화할 수 있는가?
• RQ2 기존의 단어 임베딩 유사도나 쌍별 분류 기반 방법보다, fMRI 스캔을 직접 이산적인 단어로 분류하는 것이 성능에서 뛰어나지 않는가?
• RQ3 복원된 뇌 활동이 GPT-2와 같은 대규모 언어 모델이 일관성 있고 주제 관련성이 높은 텍스트를 생성하도록 효과적으로 이끌 수 있는가?
• RQ4 복원된 뇌 신호로 언어 생성을 조건화하면, 어휘의 유사성과 어순의 자연스러움을 해치지 않으면서 의미적 관련성을 향상시킬 수 있는가?

주요 결과

• 제안된 모델은 검증되지 않은 피험자에 대해 고정된 어휘에서 특정 단어로 fMRI 스캔을 복원하는 데 5.22%의 Top-1 정확도와 13.59%의 Top-5 정확도를 달성하며, 모든 기준 모델들을 크게 앞서며 뚜렷한 성능 향상을 보였다.
• 자기지도 학습과 피험자별로 조정된 사전 처리에 대한 최소한의 의존성 덕분에, 모델은 피험자 간에 효과적으로 일반화된다.
• fMRI 스캔에서 복원된 상위 5개 단어를 기반으로 언어 생성을 조건화하면, 평균 단어 수가 0.00(기준)에서 0.52로 증가하고, 관련 단어 수는 0.04에서 1.02로 증가하여 주제 유도 효과가 뚜렷하게 확인되었다.
• fMRI 기반 앵커를 사용할 경우 퍼플렉서티가 기존 GPT-2(89.24)에서 50.64로 향상되어 목표 주제와의 일치도가 높아지고 낮은 확률의 단어 생성이 감소함을 시사한다.
• 정성적 분석 결과, 생성된 텍스트는 유창하고 일관성이 있으며, 적절한 앵커 조건에서 목표 단어가 출력에 포함되는 것으로 확인되었다.
• 결과적으로 fMRI 복원 결과가 언어 생성을 조기에 조절하는 신뢰할 수 있는 신호로 활용될 수 있음을 검증하였으며, 이는 실시간 뇌에서 텍스트로의 변환 시스템을 위한 기초 단계를 마련한다.