[論文レビュー] Learning as Abduction: Trainable Natural Logic Theorem Prover for Natural Language Inference

Lasha Abzianidze|arXiv (Cornell University)|Oct 29, 2020

Natural Language Processing Techniques参考文献 39被引用数 7

ひとこと要約

本稿では、データからの学習を帰納的推論（帰納的証明の逆転）としてモデル化することで、自然言語における帰納的推論のための学習可能で自然な論理定理証明器を提案する。この手法は、SNLIに類似したSICKデータセットにおいて、テーブルックスベースの証明器の性能を1.4%向上させつつ94%以上の精度を維持しており、帰納的学習が記号的NLPシステムにおける効果的でデータ駆動型の知識獲得を可能にすることを示している。

ABSTRACT

Tackling Natural Language Inference with a logic-based method is becoming less and less common. While this might have been counterintuitive several decades ago, nowadays it seems pretty obvious. The main reasons for such a conception are that (a) logic-based methods are usually brittle when it comes to processing wide-coverage texts, and (b) instead of automatically learning from data, they require much of manual effort for development. We make a step towards to overcome such shortcomings by modeling learning from data as abduction: reversing a theorem-proving procedure to abduce semantic relations that serve as the best explanation for the gold label of an inference problem. In other words, instead of proving sentence-level inference relations with the help of lexical relations, the lexical relations are proved taking into account the sentence-level inference relations. We implement the learning method in a tableau theorem prover for natural language and show that it improves the performance of the theorem prover on the SICK dataset by 1.4% while still maintaining high precision (>94%). The obtained results are competitive with the state of the art among logic-based systems.

研究の動機と目的

• 従来、WordNetのような手作業で作成された語彙的知識ベースに依存するが、データ駆動型の学習が欠如している記号的自然言語推論（NLI）システムの課題に対処すること。
• 広範囲のテキストにスケーリングする際の記号的NLIシステムの脆さを克服し、トレーニングデータからドメイン固有の意味的関係を自動で取得可能にするために、その目的を達成すること。
• 帰納的推論をテーブルックスベースの定理証明器に統合する計算的に実行可能な学習手法を開発すること。
• 学習された関係が精度を損なわずに推論性能を向上させることを評価すること。また、それらの関係が外部の知識ベース（例：WordNet）を部分的に置き換えることができるかどうかを検証すること。

提案手法

• 従来の定理証明ワークフローとは逆転させ、語彙的関係から文レベルの推論を導出するのではなく、ゴールラベルを最もよく説明する可能性の高い語彙的関係を推論する。
• 帰納的推論は、逆方向の定理証明として形式化され、システムは「着ける」と「外す」は互いに不適合であるなどの意味的関係を、ゴールラベルを含意する前提として仮定することで探索する。
• 一貫性を保つために、テーブルックスのすべての開放された分岐に共通するT-セット（意味的関係の集合）に限定して説明空間を縮小する。
• 不適切または文脈依存性の強い関係を排除するためのフィルターや比較基準のシーケンスを適用し、偽の知識を低減する。
• 学習中に知識ベースを動的に拡張できる、帰納的学習モジュールを統合したテーブルックスベースの自然論理証明器（LangPro）をシステムが使用する。
• 複数のCCGパーサーを用いてSICKデータセットで評価され、最先端の記号的システムと比較される。

実験結果

リサーチクエスチョン

• RQ1 NLI問題の自然言語定理証明器をトレーニング可能にする計算的に実行可能な学習手法とは何か？
• RQ2 NLIにおける帰納的学習で、偽の知識を学習するのをどうやって回避できるか？
• RQ3 学習された知識は、WordNetのような語彙的知識データベースを置き換えることができるか？
• RQ4 学習された知識は、証明器の性能をどの程度向上させるか？

主な発見

• 帰納的学習手法により、LangPro定理証明器のSICKテストセットにおける性能が1.4パーセンテージポイント向上し、記号的システムにおける新たな最先端水準を達成した。
• データからの学習後も高い精度（>94%）を維持しており、フィルターメカニズムが偽の知識を効果的に抑制していることを示している。
• データからの学習にもかかわらず、WordNet由来の語彙的関係はトップクラスのパフォーマンスを達成するために依然として不可欠であるため、学習された知識だけでは、キュレートされた語彙的データベースを完全に置き換えることはできない。
• 帰納的学習モジュールは、個別およびアンサンブル設定の両方で、さまざまなCCGパーサーにおいて一貫して性能を向上させた。
• この手法は、記号的NLIシステムが帰納的推論を用いてデータ上でトレーニング可能であることを明確に示しており、ブラックボックス型のディープラーニングモデルとは対照的に、透明性と解釈可能性を提供する代替手段を提示している。
• 結果から、帰納的学習が自然論理におけるデータ駆動型知識獲得の有効で実用的なアプローチであることが示された。特に、記号的NLPシステムにおける推論能力の向上に特化した分野で顕著である。