[論文レビュー] Comparing Transformers and RNNs on predicting human sentence processing data.

Danny Merkx, Stefan L. Frank|arXiv (Cornell University)|May 19, 2020

Neurobiology of Language and Bilingualism参考文献 35被引用数 26

ひとこと要約

本研究では、実験的刺激における予期しない度合い（surprisal）を予測するために、両方のアーキテクチャを訓練し、TransformerとRNNを人間の文処理の認知モデルとして比較した。Transformerは自己-paced reading時間とN400振幅の説明においてRNNを上回ったが、視線停留時間には及ばなかった。これは、特定の読解努力の指標をより優れた方法でモデル化できることを示唆している。

ABSTRACT

Recurrent neural networks (RNNs) have long been an architecture of interest for computational models of human sentence processing. The more recently introduced Transformer architecture has been shown to outperform recurrent neural networks on many natural language processing tasks but little is known about their ability to model human language processing. It has long been thought that human sentence reading involves something akin to recurrence and so RNNs may still have an advantage over the Transformer as a cognitive model. In this paper we train both Transformer and RNN based language models and compare their performance as a model of human sentence processing. We use the trained language models to compute surprisal values for the stimuli used in several reading experiments and use mixed linear modelling to measure how well the surprisal explains measures of human reading effort. Our analysis shows that the Transformers outperform the RNNs as cognitive models in explaining self-paced reading times and N400 strength but not gaze durations from an eye-tracking experiment.

研究の動機と目的

• Transformerは非再帰的設計をとるが、従来のRNNよりも人間の文処理をよりよくモデル化できるかどうかを評価すること。
• TransformerとRNNに基づくニューラル言語モデルが、心理言語学的指標を用いて人間の読解努力をどの程度予測できるかを調査すること。
• 自己-paced reading時間、N400強度、視線停留時間の複数の読解指標について、両アーキテクチャから得られる予期しない度合い（surprisal）の説明力の違いを比較すること。
• 人間の言語理解をモデル化する上で、伝統的に不可欠とされてきた処理の再帰性が、注意メカニズムに基づくモデルの成功を踏まえると依然として必要であるかどうかを検証すること。

提案手法

• 同じコーパス上でTransformerとRNNベースの言語モデルを訓練し、同等の学習条件を確保すること。
• 両モデルの確率推定値を用いて、実験的刺激の各語について予期しない度合い（surprisal）の値を算出すること。
• 混合線形モデルを用いて、予期しない度合いが自己-paced reading時間、N400振幅、視線停留時間といった人間の読解指標をどの程度よく予測できるかを評価すること。
• 生態的妥当性を確保するため、公刊済みの読解実験から得た標準化された心理言語学的刺激を用いること。
• 統計的モデリングを用いて、読解指標ごとに、TransformerとRNNから得られる予期しない度合いの予測の当てはまりを比較すること。
• 認知的妥当性を特に重視しつつ、人間の処理努力の分散を説明するモデルの性能に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 自己-paced reading時間という読解努力の指標から見た場合、TransformerはRNNを上回っているか？
• RQ2 N400振幅を予測する際、Transformerから得られる予期しない度合いは、RNNから得られるものよりも優れているか？
• RQ3 読解中の視線停留時間の予測において、TransformerとRNNの能力に有意な差があるか？
• RQ4 Transformerの非再帰的アテンション機構は、人間の文処理の認知理論と依然として整合性を持っているか？
• RQ5 アーキテクチャの選択（再帰的対自己注意）が、心理言語学的文脈におけるニューラル言語モデルの説明力にどの程度影響を及ぼすか？

主な発見

• Transformerは自己-paced reading時間の説明においてRNNを有意に上回り、読解努力の予測力が強いことを示している。
• Transformerから得られる予期しない度合いは、RNNから得られるものよりもN400振幅の分散のより大きな割合を説明している。
• 両モデルとも視線停留時間の予測において明確な優位性を示さないため、視線停留時間は予期しない度合い以外の要因に影響を受ける可能性がある。
• 再帰性が人間の文処理をモデル化する上で不可欠であるという仮定に反し、再帰性を欠くにもかかわらず、Transformerは主要な読解指標で優れた性能を示している。
• モデルの性能差は、読解時間やN400反応といった認知的負荷や予測誤差に関連する指標で最も顕著に現れている。
• 本研究の結果は、認知的言語理解モデルとして、Transformerのような自己注意ベースのアーキテクチャがRNNの代替として実用的かつ、場合によっては優れた選択肢である可能性を支持している。