[論文レビュー] The Natural Stories Corpus

Richard Futrell, Edward Gibson+5 more|arXiv (Cornell University)|Aug 18, 2017

Natural Language Processing Techniques参考文献 20被引用数 9

ひとこと要約

Natural Stories コーパスは、自然な物語文10編を編集して作成された心理言語学的データセットであり、非局所的VP結合、非制限的関係節、it-cleft構文など、まれで特徴的な文法構造を高頻度で含む一方で、自然さと一貫性を維持している。手作業で校正されたPenn Treebank風の句構造解析、Universal Dependencies解析、181名のネイティブ話者による自己-paced reading時間、音声録音を備え、通常の自然主義的コーパスでは得られないような困難な文法現象に対する言語処理モデルの評価を強固に可能にする。

ABSTRACT

It is now a common practice to compare models of human language processing by predicting participant reactions (such as reading times) to corpora consisting of rich naturalistic linguistic materials. However, many of the corpora used in these studies are based on naturalistic text and thus do not contain many of the low-frequency syntactic constructions that are often required to distinguish processing theories. Here we describe a new corpus consisting of English texts edited to contain many low-frequency syntactic constructions while still sounding fluent to native speakers. The corpus is annotated with hand-corrected parse trees and includes self-paced reading time data. Here we give an overview of the content of the corpus and release the data.

研究の動機と目的

• 既存の自然主義的コーパスには、心理言語学的モデルを区別するために不可欠なが、まれで処理に困難を伴う文法構造がほとんど含まれないという限界を是正すること。
• 自然主義的テキストの広範なカバレッジと、実験的刺激に特化した制御された構造を組み合わせたコーパスを構築し、大規模なモデル評価を可能にすること。
• 人間の文処理モデルの評価に役立てる標準化された、公開可能なテストセットを提供すること。このテストセットには、文法的解析、読解時間、音声データといった豊富な注釈が付与されている。
• 記憶統合コストや解析の複雑さを引き起こす構造を含め、人間の処理難易度を予測するモデルの開発を支援すること。
• 物語の一貫性を保ちつつ文法的多様性を最大化するという基盤データを公開することで、今後の注釈作成とデータ収集を促進すること。

提案手法

• 自然主義的物語文を編集して、まれな文法構造を体系的かつ意図的に組み込みながら、自然さと物語の一貫性を維持した。
• すべてのテキストについて、正確なPenn Treebank風の句構造解析を手作業で校正し、高品質な文法的注釈を確保した。
• 手作業で校正された句構造木から自動的にUniversal Dependencies解析を生成し、異なる解析パラダイム間の互換性を確保した。
• 181名の英語ネイティブ話者を対象に、Amazon Mechanical Turkを介して自己-paced reading（SPR）時間を収集した。読解速度を制御するため、ダッシュで表された移動ウィンドウ表示を用いた。
• 音声録音を制作し、テキストと単語単位で同期させ、音声的・プロソディックな分析を可能にした。
• データ除外基準を適用した：物語の質問に対する理解度が50％未満の参加者、または読解時間（RT）が100 ms未満または3000 msを超える参加者は除外した。

実験結果

リサーチクエスチョン

• RQ1 心理言語学的モデルは、自然主義的コーパスに通常は見られない希少な文法構造を含む文の読解時間をどの程度正しく予測できるか？
• RQ2 希少な文法構造が豊富に含まれるコーパスにおいて、標準的な処理予測要因（語彙頻度、語長、予想外度）と読解時間の相関関係はどの程度か？
• RQ3 複雑な文法構造における処理難易度を測定する際、被験者間で読解時間の相関関係は一貫しているか？
• RQ4 Natural Stories コーパスにおける特徴的な文法構造の頻度は、DundeeおよびUCLコーパスといった既存のコーパスと比べてどの程度か？
• RQ5 このコーパスは、大規模な自然主義的物語文の文脈において、既知の心理言語学的効果（例：語彙頻度効果や予想外度効果）を信頼性高く検出できるか？

主な発見

• Natural Stories コーパスは、自然主義的テキストに基づくDundeeコーパスと比較して、非局所的VP結合、非制限的関係節、it-cleft構文などの特徴的な文法構造の頻度が顕著に高いことが分かった。
• 被験者間で読解時間の相関関係が強く、各物語ごとの平均leave-one-out ISC値が一貫した処理パターンを示した。
• 線形混合効果モデルにより、語彙頻度が高くなるほど読解時間が短縮され（β = -2.61）、三単語連接確率が高くなると読解時間が短縮された（β = -2.19）一方で、語長が長くなると読解時間が延びた（β = 4.21）ことが確認され、既知の心理言語学的効果が再現された。
• 希少な文法構造を含んでも、参加者の理解度とデータ品質のチェックを通じて、物語の自然さと一貫性が維持されていることが検証された。
• 自己-paced reading時間、手作業で校正された解析、音声録音の併記により、文法的、認知的、音声的次元から多様な観点から言語処理モデルの評価が可能になった。
• このデータセットはCC BY-NC-SAライセンスで公開されており、同じ条件で広範な再利用と派生的利用が可能で、長期的な研究とモデル開発を支援する。