[論文レビュー] Falling Through the Gaps: Neural Architectures as Models of Morphological Rule Learning

Deniz Beser|arXiv (Cornell University)|May 8, 2021

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文は、変換器（Transformer）とRNNアーキテクチャを、語彙的規則学習のモデルとして評価し、生産的な語尾変化パターンの一般化能力に注目している。標準的なタスクでは変換器が優れた性能を示すものの、両モデルともネイティブスピーカーが使わないロシア語動詞の第一人称単数現在形を生成する——これは言語的ギャップを捉えていないことを示しており、言語学習のニューラルモデルに構造的バイアス（構造的事前知識）が必要であることを示唆している。

ABSTRACT

Recent advances in neural architectures have revived the problem of morphological rule learning. We evaluate the Transformer as a model of morphological rule learning and compare it with Recurrent Neural Networks (RNN) on English, German, and Russian. We bring to the fore a hitherto overlooked problem, the morphological gaps, where the expected inflection of a word is missing. For example, 63 Russian verbs lack a first-person-singular present form such that one cannot comfortably say "*o\\v{s}\\v{c}u\\v{s}\\v{c}u" ("I feel"). Even English has gaps, such as the past participle of "stride": the function of morphological inflection can be partial. Both neural architectures produce inflections that ought to be missing. Analyses reveal that Transformers recapitulate the statistical distribution of inflections in the training data, similar to RNNs. Models' success on English and German is driven by the fact that rules in these languages can be identified with the majority forms, which is not universal.

研究の動機と目的

• 最先端のニューラルモデルとしての変換器アーキテクチャが、RNNよりも優れた認知的モデルとして語彙的規則学習を再現できるかどうかを評価すること。
• ニューラルアーキテクチャが、人間と同様の一般化を示す生産的な語彙的規則を学習できるかどうか、特に非大多数の生産性や語彙的ギャップの状況において調査すること。
• 訓練データの分布的パターンに感受性を示すかどうかを検討し、ネイティブな形ではないにもかかわらず類推的誤りや一般化過剰を引き起こすかどうかを分析すること。
• ネイティブスピーカーが行わない語尾変化を暗黙的に拒否できるかどうかを評価すること。
• 語彙的ギャップを、ニューラル言語モデルの認知的妥当性を評価するための診断ツールとして提唱すること。

提案手法

• 英語、ドイツ語、ロシア語の語彙的変化データを用いて、変換器とRNNの両方のシーケンス・ツー・シーケンスモデルを訓練した。
• 標準的な訓練セットに加え、第一人称単数現在形が存在しない63のロシア語動詞を含む特別なテストセットを用いた。
• 予測された語尾変化形の尤度スコアを用いてモデルの信頼度を測定し、ギャップのある動詞で困難を示すかどうかを評価した。
• 通常の動詞とギャップのある動詞の間でモデルの予測を比較し、暗黙的な拒否能力の有無を検出した。
• 異なる言語現象におけるモデルの挙動を分析した：英語の過去形（大多数の規則）、ドイツ語の複数形（非大多数の生産性）、ロシア語のギャップ（構造的欠落）。
• 統計的相関と類似度指標を用いて、変換器とRNNモデルの予測を比較し、さまざまな条件下での一貫性を評価した。

実験結果

リサーチクエスチョン

• RQ1 変換器アーキテクチャは、生産的規則が大多数の形でない場合でも、人間と同様の生産的一般化を示すことができるか？
• RQ2 変換器やRNNといったニューラルアーキテクチャは、過去のモデルで観察された類推的・分布的バイアスを示すのか、特に語尾変化の一般化過剰が生じるのか？
• RQ3 ネイティブスピーカーの話法に存在しない語彙的ギャップを持つ動詞の語尾変化を予測する際、モデルの信頼度が低下したり不確実性が増すのか？
• RQ4 両モデルは、ネイティブスピーカーが使わない形であっても、訓練データ内の語尾変化形の統計的分布をどれほど再現できるのか？
• RQ5 語彙的ギャップを、ニューラル系列モデルの認知的妥当性を評価するための診断ベンチマークとして用いることができるか？

主な発見

• 変換器とRNNの両モデルが、ネイティブスピーカーが使わない63のロシア語動詞についても第一人称単数現在形を生成しており、語彙的ギャップを尊重していないことが示された。
• ギャップのある動詞テストセットにおいてもモデルの信頼度は有意に低下しなかった：RNNの信頼度は0.95（σ=0.12）から0.86（σ=0.18）に低下し、変換器は0.46（σ=0.11）から0.39（σ=0.13）に低下した。これは通常の動詞とギャップのある動詞との間に有意義な差がないことを示している。
• 両アーキテクチャ間で予測が高く相関しており、アーキテクチャの違いに関係なく、分布的一般化の挙動が類似していることが示された。
• 標準的なNLPタスクで優れた性能を示すにもかかわらず、変換器はRNNと同等に、非大多数の生産性や構造的欠落の状況において人間と同様の語彙的規則学習をモデル化できていない。
• モデルの挙動から、それらが言語的構造よりも語尾変化の統計的分布に基づいて学習していることが示唆され、RNNと同様に一般化過剰を引き起こしている。
• 本研究は、語彙的ギャップがニューラル言語モデルの認知的妥当性を評価する有効な診断ツールであることを示しており、両アーキテクチャともネイティブスピーカーの制約を反映していない。