[論文レビュー] Human brain activity for machine attention

Lukas Muttenthaler, Nora Hollenstein+1 more|arXiv (Cornell University)|Jun 9, 2020

EEG and Brain-Computer Interfaces参考文献 40被引用数 6

ひとこと要約

本稿では、EEGデータから人間の言語処理信号を抽出し、それをNLPタスクにおけるニューラルネットワークのアテンションメカニズムの正則化に用いる、新しい手法を提案する。理論的根拠に基づくクロッピングとランダムフォレストを用いた特徴選択を組み合わせることで、公的コロナスからタスクに特化したEEG特徴を特定し、低周波数帯（θとα）のEEGバンドが、データが限られた状況下でも関係分類および名前付きエンティティ認識の性能を向上させることを示した。これは、EEG信号が機械のアテンションを効果的に誘導できることを裏付ける。

ABSTRACT

Cognitively inspired NLP leverages human-derived data to teach machines about language processing mechanisms. Recently, neural networks have been augmented with behavioral data to solve a range of NLP tasks spanning syntax and semantics. We are the first to exploit neuroscientific data, namely electroencephalography (EEG), to inform a neural attention model about language processing of the human brain. The challenge in working with EEG data is that features are exceptionally rich and need extensive pre-processing to isolate signals specific to text processing. We devise a method for finding such EEG features to supervise machine attention through combining theoretically motivated cropping with random forest tree splits. After this dimensionality reduction, the pre-processed EEG features are capable of distinguishing two reading tasks retrieved from a publicly available EEG corpus. We apply these features to regularise attention on relation classification and show that EEG is more informative than strong baselines. This improvement depends on both the cognitive load of the task and the EEG frequency domain. Hence, informing neural attention models with EEG signals is beneficial but requires further investigation to understand which dimensions are the most useful across NLP tasks.

研究の動機と目的

• ノイズが多く高次元なEEGデータから、テキスト処理に特化したEEG信号を分離する手法を開発すること。
• EEGで測定された人間の脳活動が、NLPモデルにおける機械のアテンションを改善できるかどうかを調査すること。
• 異なるEEG周波数帯と埋め込み次元が、下流のNLPパフォーマンスに与える影響を評価すること。
• シーケンス分類タスクにおいて、EEGベースの監視が強力なベースラインを上回るかを特定すること。

提案手法

• テキスト処理に関連する脳信号を抽出するために、理論的根拠に基づいたクロッピングをEEGデータに適用する。
• ランダムフォレストの木の分割を用いて、リーディングタスクを区別するのに最も情報量の多いEEG特徴を同定する。
• 周波数ドメインの埋め込み（次元5, 15, 30）を最大プーリングすることでEEGアテンションスコアを抽出する。
• これらのEEG由来のアテンションスコアを正則化信号として、マルチタスクRNNモデルに組み込み、単語レベルのアテンションを誘導する。
• 12名の参加者を対象に、限られたEEGデータ（NR 300文、AR 407文）でモデルを学習し、NERおよび関係分類タスクで評価する。
• EEG周波数帯（θ, α, β, γ）と埋め込み次元の違いによる性能を比較し、最適な信号源を同定する。

実験結果

リサーチクエスチョン

• RQ1 リーディング中の認知的負荷の違いを区別するのに、どのEEG特徴が最も情報量が多いか。
• RQ2 EEG由来のアテンション信号は、関係分類や名前付きエンティティ認識といったNLPシーケンス分類タスクの性能を向上させられるか。
• RQ3 EEG周波数帯ごとの性能はどのように変化するか。
• RQ4 EEG埋め込みの次元が、下流のNLPタスクにおける信号の情報量に影響を与えるか。
• RQ5 リーディングタスクの認知的負荷（通常リーディング対比アノテーションリーディング）が、機械のアテンションを誘導するためのEEG信号の有効性に与える影響は何か。

主な発見

• クロッピングとランダムフォレストによる特徴選択で抽出したEEG特徴は、公的EEGコロナスにおいて、通常リーディング（NR）とアノテーションリーディング（AR）タスクを効果的に区別できた。
• β（13.5–30 Hz）およびγ（30.5–49.5 Hz）帯よりも、θ（4–8 Hz）およびα（8.5–13 Hz）帯の周波数帯がより情報量が多く、下流タスクのパフォーマンスを向上させた。
• 5次元のθ埋め込みからの最大プーリングによるアテンションスコアが、より高次元の埋め込み（15, 30）よりも、Wikipedia関係検出タスクで優れた性能を示した。
• 性能向上は、名前付きエンティティ認識よりも関係分類で顕著であり、後者のベースライン性能がすでに高いことが理由と考えられる。
• NRとARの間で最も判別能の高い信号を保持するため、低次元のEEG埋め込み（例：5次元）が、リーディングタスクの分類においてより良いパフォーマンスを示した。
• 12名の参加者を対象にNR 300文、AR 407文の限られたデータしか使用しなかったが、EEGベースの監視により測定可能な性能向上が得られた。これは、データが限られた状況下でも、EEG信号が有効に機能する可能性を示している。