[論文レビュー] A Biologically Plausible Parser

Daniel Mitropolsky, Michael Collins+1 more|arXiv (Cornell University)|Aug 4, 2021

Natural Language Processing Techniques参考文献 31被引用数 6

ひとこと要約

本稿では、アセンブリ計算という計算フレームワークを用いて、脳機能をスタイライズドニューロン、シナプス、および動的アセンブリ操作によってモデル化した生物学的に妥当なニューラルパーサーを提示する。このパーサーは、200件の複雑な英語文とロシア語のテストセットを一貫した依存構造で正しく解析でき、高レベルの文法的処理が生物学的に現実的なニューラルダイナミクスから生じうることを示している。

ABSTRACT

We describe a parser of English effectuated by biologically plausible neurons and synapses, and implemented through the Assembly Calculus, a recently proposed computational framework for cognitive function. We demonstrate that this device is capable of correctly parsing reasonably nontrivial sentences. While our experiments entail rather simple sentences in English, our results suggest that the parser can be extended beyond what we have implemented, to several directions encompassing much of language. For example, we present a simple Russian version of the parser, and discuss how to handle recursion, embedding, and polysemy.

研究の動機と目的

• 神経生理学的原則に裏付けられた、生物学的に妥当なニューラルモデルによる文の解析を構築すること。
• 高レベルの言語的処理、特に文法的解析が、単純なニューロンレベルのダイナミクスとシナプス可塑性からどのように生じうるかを示すこと。
• アセンブリ計算フレームワークが、言語解析のような複雑な認知機能にスケーラブルかつ信頼性を持って適用可能であるかを検証すること。
• 非英語言語（例：ロシア語）へのモデルの拡張を行い、再帰、埋め込み、多義性の処理能力を検討すること。
• パーサーの形成を動的アセンブリ形成と相互作用のプロセスとしてシミュレートすることで、神経科学と計算言語学の間の計算的ブリッジを確立すること。

提案手法

• ランダムでスパースな接続性とヘブシアン可塑性を用い、語彙領域（Lex）にそれぞれの語を特徴付けるニューラルアセンブリとして符号化する。
• 入力文を語アセンブリの逐次的活性化によって処理し、投影およびマージ操作を通じて脳領域間での動的相互作用を実現する。
• 最終的な活性アセンブリ状態から依存グラフを再構成するリードアウト手順を採用し、正しい解析と整合性のある構造を保証する。
• 語彙的パーサーと依存構造形成をサポートするため、元のアセンブリ計算を拡張した操作を導入する。
• ランダムなコネクトームと抑制メカニズムのおかげで、正しいパーサーが高確率で出現する確率的フレームワークを採用する。
• 20種類の文法的テンプレートにわたる200件の英語文と、格助詞の付加があるロシア語文の24通りの並べ替えについて、シミュレーションによる検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 生物学的に妥当なニューロンとシナプスに基づくニューラルシステムが、アセンブリレベルの操作のみを用いて、複雑な英語文を信頼性を持って解析できるか？
• RQ2 アセンブリ計算フレームワークは、神経生物学的に現実的な方法で、依存グラフのような動的文法的構造を形成できるか？
• RQ3 再帰、埋め込み、格助詞（例：ロシア語）を含む文法的に多様な文種に対して、このパーサーはどの程度一般化できるか？
• RQ4 語の意味と局所的文脈に依存する文脈的行動は、アセンブリ計算フレームワーク内で神経的に符号化され、実装可能か？
• RQ5 現在の形式的定式化がラベル付き依存木を認識する限界は何か？文脈的行動のオракルを構築できるか？

主な発見

• 20種類の文法的テンプレートにわたる200件の英語文すべてが正しく解析され、リードアウト手順により一貫して正しい依存構造が回復された。
• ロシア語の場合、3語の述語構造の24通りの並べ替えすべてにおいて、同一の依存構造が得られ、主語、間接目的語、直接目的語の役割が正しく特定された。
• システムは人間の脳の言語処理能力に相当する速度で動作し、ニューロンの発火サイクルの合理的な数内でパーサー処理を完了した。
• モデルは段階的処理を示しており、リアルタイムの文理解に関する心理言語学的知見と整合している。
• 高レベルの認知機能、たとえばパーサー処理が、ヘブシアン可塑性と抑制によって支配される低レベルの神経ダイナミクスから生じうるという仮説を支持する結果が得られた。
• フレームワークは多義性、再帰、埋め込みの処理に潜在的な対応能力を示しているが、現時点のバージョンでは完全に実装されていない。