[論文レビュー] Assessing the Linguistic Productivity of Unsupervised Deep Neural Networks

Lawrence Phillips, Nathan O. Hodas|arXiv (Cornell University)|Jun 6, 2017

Topic Modeling参考文献 26被引用数 4

ひとこと要約

本研究では、教師なしの深層自己符号化オートエンコーダーが、不定詞と新規名詞を組み合わせることで言語的生産性を示すかを評価し、十分なドロップアウトを適用することで、大人の会話と同等の速度で新規の名詞・不定詞の組み合わせを生成することが判明した。これは、深層学習が一般言語習得をモデル化する可能性を示している。

ABSTRACT

Increasingly, cognitive scientists have demonstrated interest in applying tools from deep learning. One use for deep learning is in language acquisition where it is useful to know if a linguistic phenomenon can be learned through domain-general means. To assess whether unsupervised deep learning is appropriate, we first pose a smaller question: Can unsupervised neural networks apply linguistic rules productively, using them in novel situations? We draw from the literature on determiner/noun productivity by training an unsupervised, autoencoder network measuring its ability to combine nouns with determiners. Our simple autoencoder creates combinations it has not previously encountered and produces a degree of overlap matching adults. While this preliminary work does not provide conclusive evidence for productivity, it warrants further investigation with more complex models. Further, this work helps lay the foundations for future collaboration between the deep learning and cognitive science communities.

研究の動機と目的

• 教師なしの深層ニューラルネットワークが、新規の不定詞と名詞を組み合わせる言語的生産性を示せるかどうかを調査すること。
• オートエンコーダーが記憶された入力パターンを超えて、新規で文法的に妥当なフレーズを生成できるかどうかを評価すること。
• モデルの実証的重なりスコアを大人の会話と比較し、生産性の水準を評価すること。
• 深層学習モデルが言語習得における認知モデル化のツールとして利用可能かどうかを検討すること。
• 今後の深層学習と認知科学の分野間連携を促進する基盤を構築すること。

提案手法

• 大人が生成した英語文のコーパスに含まれる不定詞＋名詞（DET+N）ペアを用いて、フィードフォワードオートエンコーダーを訓練した。
• 一般化を促進し過学習を軽減するために、訓練中にドロップアウト率を10%、20%、30%として適用した。
• 学習された潜在空間からサンプリングし、復号することで、訓練済みオートエンコーダーから新しい文を生成した。
• 生成されたテキストにおいて、'a'と'the'の両方と組み合わされる固有の名詞の割合として、実証的重なりスコアを計算した。
• ヤン（2011）の手法を用いて、語の頻度分布とジプファインスケーリングを考慮した期待重なりスコアを算出した。
• 生成されたテキストの分析に品詞タガーを用いたが、標準的でないまたは文法的に不正な出力のため、制限があるとされた。

実験結果

リサーチクエスチョン

• RQ1 教師なしオートエンコーダーは、訓練データに存在しない新規の不定詞＋名詞の組み合わせを生成できるか？
• RQ2 モデルの実証的重なりスコア（'a'と'the'の間）は、大人の会話とどの程度一致するか？
• RQ3 異なるドロップアウト率は、モデルの生産的言語的組み合わせ生成能力にどのように影響するか？
• RQ4 モデルの出力は語の頻度にジプファイン分布を示しており、期待重なりスコアの計算にどのような影響を及えるか？
• RQ5 シンプルなオートエンコーダーは、認知科学における初期言語的生産性をモデル化するための妥当なベースラインとして機能できるか？

主な発見

• 30%ドロップアウトを適用したオートエンコーダーは、実証的重なりスコア59.4%を達成し、大人のコーパスの59.3%に非常に近い値を示した。
• 語彙サイズが縮小（816個の固有名詞 vs. 大人の1,390個）であったにもかかわらず、30%ドロップアウトのモデルは大人の会話と同等の重なりを示した。
• 10%および20%ドロップアウトのモデルは、それぞれ53.3%および53.4%の実証的重なりスコアを示し、一貫したがわずかに低い生産性を示した。
• モデルは訓練データに存在しない新規のDET+Nの組み合わせ（例：'the head'、'the dada'）を生成し、記憶を超えた一般化を示した。
• 完全なジプファイン分布からのずれ（R² = 0.86）が見られたが、期待重なりスコアは依然として計算可能で有用であった。
• 品詞タガーは一部の生成フレーズ（例：'the over' を DET+N として分類）を誤って分類しており、ニューラルモデルからの非文法的出力の分析における課題を浮き彫りにした。