[論文レビュー] Combining Representation Learning with Logic for Language Processing

Tim Rocktäschel|arXiv (Cornell University)|Dec 27, 2017

Topic Modeling参考文献 2被引用数 5

ひとこと要約

本論文は、自然言語処理における大規模なアノテート済みデータセットへの依存を低減するため、表現学習と一次論理の新規統合を提案する。論理規則を微分可能損失関数にマッピングし、ニューラルリンク予測器をエンドツーエンドで訓練することで、論理的プライアーオリの直接的な埋め込みを実現し、一般化性能の向上と、最小限のラベル付きデータでも解釈可能な論理プログラムの導出を可能にする。

ABSTRACT

The current state-of-the-art in many natural language processing and automated knowledge base completion tasks is held by representation learning methods which learn distributed vector representations of symbols via gradient-based optimization. They require little or no hand-crafted features, thus avoiding the need for most preprocessing steps and task-specific assumptions. However, in many cases representation learning requires a large amount of annotated training data to generalize well to unseen data. Such labeled training data is provided by human annotators who often use formal logic as the language for specifying annotations. This thesis investigates different combinations of representation learning methods with logic for reducing the need for annotated training data, and for improving generalization.

研究の動機と目的

• 表現学習における自然言語処理の分野で、大規模なアノテート済みトレーニングデータセットへの依存を低減すること。
• 一次論理規則として表現されたドメインエキスパートの知識をニューラルモデルに統合すること。
• 特にリソースが限られた述語に対して、ベクトル表現の一般化性能を向上させること。
• Prologにインspiredされたニューラルネットワークを用いて、エンドツーエンド微分可能な論理的推論を実現すること。
• 勾配ベース最適化を用いて解釈可能な論理プログラムを開発すること。

提案手法

• 関数フリーの一次論理規則を、述語および定数のベクトル表現を正則化する微分可能損失関数にマッピングする。
• ラベル付き事実と論理規則から導出される損失関数の両方で訓練されたニューラルリンク予測モデルを用い、論理的プライアーオリをベクトル空間に直接埋め込む。
• 規則のグランドイングを必要とせず、述語表現を正則化するスケーラブルな代替手法を提案し、計算コストの爆発を回避する。
• Prologのバックワード・チェインイングアルゴリズムにインspiredされた、再帰的構築に基づくエンドツーエンド微分可能なプローバーを設計する。
• バックプロパゲーションを用いてニューラルプローバーを訓練し、正しい論理的妥当性の導出に最適化された記号表現を学習する。
• 条件付き符号化とアテンションを備えた再帰的ニューラルネットワークを用い、文のペア間の論理的関係を特定する。

実験結果

リサーチクエスチョン

• RQ1 一次論理規則を効果的にニューラルベクトル表現に埋め込むことで、一般化性能の向上が達成可能か？
• RQ2 規則の完全なグランドイングを必要とせずに、論理的プライアーオリを表現学習に統合する方法は何か？
• RQ3 微分可能なニューラルプローバーは勾配降下法により解釈可能な論理プログラムを学習可能か？
• RQ4 論理規則を統合することで、アノテート済みトレーニングデータの必要性はどの程度低減されるか？
• RQ5 アテンションを強化したRNNは、自然言語文のペア間の論理的関係を正確に検出可能か？

主な発見

• 本手法は、ラベル付きトレーニングデータがゼロまたは最小限であっても、論理規則のみを活用して正確な述語表現を学習できることを示した。
• モデルは、規則に明示的に記載されていない述語に対しても一般化できており、論理からの強い帰納的バイアスが確認された。
• スケーラブルな正則化手法はグランドイングを回避し、大規模な規則集合においても性能を維持でき、規則グランドイングアプローチと比較して優位性を示した。
• エンドツーエンド微分可能なプローバーは勾配降下法により解釈可能な論理プログラムを学習し、学習済み表現を用いて正しい証明を達成した。
• アテンションベースのRNNモデルは、規則抽出実験の結果、文のペア間の論理的関係を高精度（最大0.94）で同定できた。
• 論理と表現学習の統合により、リソースが限られた状況やゼロショット述語学習のシナリオにおいて、性能が顕著に向上した。