[論文レビュー] A Neural-Symbolic Approach to Natural Language Tasks.

Qiuyuan Huang, Paul Smolensky+3 more|arXiv (Cornell University)|Oct 29, 2017

Multimodal Machine Learning Applications参考文献 19被引用数 4

ひとこと要約

本稿では、構文や品詞タグ付けなどの言語的構造を明示的にモデル化できる、テンソル積表現（TPR）を深層学習と統合した新しいニューラルシンボリックアーキテクチャ、テンソル積生成ネットワーク（TPGN）を提案する。教師なしで役割再結合ベクトルを学習し、それらをLSTMと組み合わせることで、構造的な文の生成とフレーズ構造の抽出が可能となり、画像キャプション生成、POS分類、構文解析の分野で優れた性能を示した。

ABSTRACT

Deep learning (DL) has in recent years been widely used in natural language processing (NLP) applications due to its superior performance. However, while natural languages are rich in grammatical structure, DL has not been able to explicitly represent and enforce such structures. This paper proposes a new architecture to bridge this gap by exploiting tensor product representations (TPR), a structured neural-symbolic framework developed in cognitive science over the past 20 years, with the aim of integrating DL with explicit language structures and rules. We call it the Tensor Product Generation Network (TPGN), and apply it to 1) image captioning, 2) classification of the part of speech of a word, and 3) identification of the phrase structure of a sentence. The key ideas of TPGN are: 1) unsupervised learning of role-unbinding vectors of words via a TPR-based deep neural network, and 2) integration of TPR with typical DL architectures including Long Short-Term Memory (LSTM) models. The novelty of our approach lies in its ability to generate a sentence and extract partial grammatical structure of the sentence by using role-unbinding vectors, which are obtained in an unsupervised manner. Experimental results demonstrate the effectiveness of the proposed approach.

研究の動機と目的

• 深層学習が自然言語における文法的構造を明示的に表現・強制する能力に欠けているという限界を解消すること。
• 構造的表現を深層学習アーキテクチャに統合することで、ニューラルネットワークと記号的言語ルールの間の溝を埋めること。
• 分散表現として解釈可能になる形で、構文的役割を符号化する役割再結合ベクトルを教師なしで学習可能にする。
• 深層学習の表現力と記号的文法の構造的不変性を統合した統一フレームワークを構築すること。
• 構文的認識を要するコアNLPタスク、特に画像キャプション生成、POSタグ付け、フレーズ構造同定において、その手法を評価すること。

提案手法

• TPGNは、単語とその構文的役割をテンソル積表現（TPR）で符号化し、意味の構造的合成を可能にする。
• 教師なし学習手順により役割再結合ベクトルを学習し、分散表現空間においてコンテンツから役割を分離可能にする。
• TPRと長短期記憶（LSTM）ネットワークを統合することで、文法的構造を保持したままシーケンスを生成する。
• モデルはTPRを用いて文の階層的構造を表現し、フレーズ境界や句構成要素の明示的解析を可能にする。
• TPRの各コンポonentと深層ニューラルネットワークのパラメータを同時に最適化するエンドツーエンド学習をサポートする。
• モデルは制御可能な文法的構造を持つ文の生成と、入力シーケンスからの部分的な文法的構造の抽出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 教師なしの文法情報が与えられない状況下でも、深層学習モデルが自然言語生成において効果的に構文的構造を学習・強制できるか。
• RQ2 教師なし学習で得た役割再結合ベクトルは、正確な品詞分類にどの程度寄与するか。
• RQ3 標準的なニューラルネットワークと比較して、TPRベースの表現は文のフレーズ構造モデリングをどの程度改善できるか。
• RQ4 TPRとLSTMの統合により、文法的整合性を保ちつつ画像キャプション生成の性能が向上するか。
• RQ5 教師ありまたは弱教師ありの代替手法と比較して、TPRコンポーネントの教師なし学習は、言語的構造をどの程度的確に捉えるか。

主な発見

• TPGNは、標準的なLSTMベースラインと比較して、より文法的に整合性があり構造的に正確なキャプションを生成したため、画像キャプション生成において競争力のある性能を達成した。
• モデルは品詞タグ付けにおいて優れた性能を示し、教師なしで得た役割再結合ベクトルを活用して効果的に構文的役割を捉えていた。
• フレーズ構造同定はモデルによって成功裏に実行され、TPRにより生成または入力シーケンスからの文法的構成要素の明示的抽出が可能になった。
• 教師なし学習による役割再結合ベクトルの学習は、構文的データのアノテーションを必要とせずに、構文的役割を的確に捉えるのに有効であった。
• TPRとLSTMの統合により、シーケンス生成中に構造的一致性を維持でき、文法的誤りが減少した。
• 結果から、TPRを介してニューラル学習と記号的構造を統合することで、構造的なNLPタスクにおける解釈可能性と性能が向上することが示された。