[論文レビュー] Distinct patterns of syntactic agreement errors in recurrent networks and humans

Tal Linzen, Brian Leonard|arXiv (Cornell University)|Jul 18, 2018

Neurobiology of Language and Bilingualism参考文献 8被引用数 42

ひとこと要約

この論文は、RNNと人間が主語-動詞の一致で引力子と統語構造を跨いでどのように誤るかを比較し、類似点と重要な差異を明らかにし、RNNの表現が人間の統語処理と分岐する可能性を示唆している。

ABSTRACT

Determining the correct form of a verb in context requires an understanding of the syntactic structure of the sentence. Recurrent neural networks have been shown to perform this task with an error rate comparable to humans, despite the fact that they are not designed with explicit syntactic representations. To examine the extent to which the syntactic representations of these networks are similar to those used by humans when processing sentences, we compare the detailed pattern of errors that RNNs and humans make on this task. Despite significant similarities (attraction errors, asymmetry between singular and plural subjects), the error patterns differed in important ways. In particular, in complex sentences with relative clauses error rates increased in RNNs but decreased in humans. Furthermore, RNNs showed a cumulative effect of attractors but humans did not. We conclude that at least in some respects the syntactic representations acquired by RNNs are fundamentally different from those used by humans.

研究の動機と目的

• RNNの統語表現が人間が文処理中に用いる表現に似ているかを調べる。
• アトラクターとそれらの構造的位置がRNNと人間の一致エラーにどのように影響するかを検討する。
• PP修飾語とRC修飾語の誤りパターンが異なるかを検証して、潜在的な表現を推測する。
• 複数のアトラクターを伴う場合に人間とRNNが累積的なアトラクション効果を示すかを評価する。

提案手法

• Wikipediaの文から作成した前置部から動詞数の予測を行うよう、50および1000隠れ層ユニットを持つ20個のLSTMベースのRNNを訓練する。
• 削除された動詞を含む前置部を用いて、三つの時間制約パラダイム（RSVP、SPR、Untimed）下で単数/複数の一致決定（is/are）を誘発する。
• 実験1での人間参加者の誤りと同一材料に対するRNNの予測を比較し、質的な類似点と相違を特定する。
• RCおよびPP構成を用いた実験2を実施して累積的アトラクションとRC長さのヒューリスティックを検査する。
• 1000次元のRNNで人間の結果をシミュレートし、RCの長さと語順を操作して短いRCヒューリスティックを検証する。
• 著者のGitHubリポジトリで再現用のコードと資料を提供する。

実験結果

リサーチクエスチョン

• RQ1 アトラクターが主語と数で異なる場合、RNNと人間はアトラクション効果を示しますか？
• RQ2 アトラクターの構造的位置（PP対 RC）は、人間とRNNにおける一致エラーにどのように影響しますか？
• RQ3 RNNは複数のアトラクターで累積的アトラクションを示しますか、そしてこれは人間にも反映されますか？
• RQ4 PP修飾語とRC修飾語の誤りパターンに、異なる潜在表現を示す定性的な差異はありますか？

主な発見

• 人間は局所的な名詞が主語と数で異なるときに増加するアトラクション誤差を示す。
• 誤差の非対称性: 主語が単数でアトラクターが複数の場合にアトラクション誤差がより頻繁である。
• 実験1は、人間にとってPPアトラクターがRCアトラクターよりも多くの誤差を生み出す一方、RNNはRCでより多くの誤差を示しPPよりも多くの誤差を示す。
• RNNは複数のアトラクターで累積的アトラクション効果を示すが、実験2の人間とは異なる。
• 材料中のRC順序を反転させるとRNNの誤差が増加し、単純な近接干渉よりも短いRCヒューリスティックを支持する。