[논문 리뷰] Human brain activity for machine attention

Lukas Muttenthaler, Nora Hollenstein외 1명|arXiv (Cornell University)|2020. 06. 09.

EEG and Brain-Computer Interfaces참고 문헌 40인용 수 6

한 줄 요약

이 논문은 EEG 데이터에서 인간의 언어 처리 신호를 추출하고, 이를 자연어 처리(NLP) 작업의 신경망 어텐션 메커니즘을 정규화하는 데 활용하는 새로운 방법을 제안한다. 이론적으로 타당한 컷팅과 랜덤 포레스트 기반의 특성 선택을 조합함으로써, 공개 코퍼스에서 작업에 특화된 EEG 특징을 추출하였으며, 저주파수 EEG 대역(테타 및 알파)이 데이터가 제한된 상황에서도 관계 분류와 명명된 실체 인식 성능을 향상시킴을 입증하였다. 이는 EEG 신호가 기계적 어텐션을 효과적으로 이끌 수 있음을 보여준다.

ABSTRACT

Cognitively inspired NLP leverages human-derived data to teach machines about language processing mechanisms. Recently, neural networks have been augmented with behavioral data to solve a range of NLP tasks spanning syntax and semantics. We are the first to exploit neuroscientific data, namely electroencephalography (EEG), to inform a neural attention model about language processing of the human brain. The challenge in working with EEG data is that features are exceptionally rich and need extensive pre-processing to isolate signals specific to text processing. We devise a method for finding such EEG features to supervise machine attention through combining theoretically motivated cropping with random forest tree splits. After this dimensionality reduction, the pre-processed EEG features are capable of distinguishing two reading tasks retrieved from a publicly available EEG corpus. We apply these features to regularise attention on relation classification and show that EEG is more informative than strong baselines. This improvement depends on both the cognitive load of the task and the EEG frequency domain. Hence, informing neural attention models with EEG signals is beneficial but requires further investigation to understand which dimensions are the most useful across NLP tasks.

연구 동기 및 목표

• 노이즈가 많고 고차원적인 EEG 데이터에서 텍스트 처리에 특화된 EEG 신호를 분리하는 방법을 개발하는 것.
• EEG로 측정한 인간의 뇌 활동이 NLP 모델의 기계적 어텐션을 향상시킬 수 있는지 조사하는 것.
• 다양한 EEG 주파수 대역과 임bedding 차원이 최종 NLP 성능에 미치는 영향을 평가하는 것.
• 시퀀스 분류 작업에서 EEG 기반 지도 학습이 강력한 베이스라인을 능가하는지 확인하는 것.

제안 방법

• 텍스트 처리에 관련된 뇌 신호를 고립하기 위해 이론적으로 타당한 컷팅을 EEG 데이터에 적용하는 것.
• 랜덤 포레스트 트리 분할을 사용해 독서 작업을 구분하는 데 가장 유용한 EEG 특징을 식별하는 것.
• 다양한 차원성(5, 15, 30)을 가진 주파수 도메인 임베딩에 대해 max-pooling을 적용해 EEG 어텐션 점수를 추출하는 것.
• 이러한 EEG 유래 어テン션 점수를 다중 작업 RNN 모델에 정규화 신호로 통합하여 단어 수준의 어텐션을 이끄는 것.
• 12명의 참가자로부터 수집한 제한된 EEG 데이터(300개의 NR 문장과 407개의 AR 문장)로 모델을 훈련하고, NER 및 관계 분류에서 성능을 평가하는 것.
• EEG 주파수 대역(테타, 알파, 베타, 감마)과 임베딩 차원 간의 성능을 비교하여 최적의 신호 원천을 특정하는 것.

실험 결과

연구 질문

• RQ1 독서 중 다양한 인지 부하를 경험할 때, 어떤 EEG 특징이 가장 유용하게 독서 작업을 구분하는가?
• RQ2 EEG에서 유도된 어텐션 신호가 관계 분류 및 명명된 실체 인식과 같은 NLP 시퀀스 분류 작업의 성능을 향상시킬 수 있는가?
• RQ3 다양한 EEG 주파수 대역에서 EEG 지도 학습 모델의 성능는 어떻게 변하는가?
• RQ4 EEG 임베딩의 차원성이 최종 NLP 작업에서의 신호의 정보성에 영향을 미치는가?
• RQ5 독서 작업의 인지 부하(일반 독서 대 조사 독서)가 기계적 어텐션을 이끄는 데 있어 EEG 신호의 유용성에 영향을 미치는가?

주요 결과

• 컷팅과 랜덤 포레스트 선택을 통해 추출한 EEG 특징은 공개 EEG 코퍼스에서 일반 독서(NR)와 조사 독서(AR) 작업을 성공적으로 구분한다.
• 테타(4–8 Hz) 및 알파(8.5–13 Hz) 주파수 대역이 베타(13.5–30 Hz) 및 감마(30.5–49.5 Hz) 대역보다 더 유용한 신호를 제공하며, 최종 성능 향상에 기여한다.
• 5차원 테타 임베딩에서 max-pooling한 어텐션 점수가 더 높은 차원성(15, 30)의 임베딩보다 위키백과 관계 탐지 작업에서 뛰어난 성능을 보인다.
• 성능 향상은 명명된 실체 인식보다 관계 분류에서 더 두드러지며, 이는 후자의 경우 기존 성능 기준이 매우 높기 때문일 것이다.
• 낮은 차원의 EEG 임베딩(예: 5D)은 NR과 AR 간의 가장 구분 가능한 신호를 유지하므로 독서 작업 분류에서 더 뛰어난 성능을 낸다.
• 12명의 참가자로부터 300개의 NR 문장과 407개의 AR 문장만을 사용했음에도 불구하고 EEG 기반 지도 학습이 측정 가능한 성능 향상을 이끌어내어, 제한된 데이터 조건에서도 잠재적 잠재력을 보여준다.