[論文レビュー] Logic-Driven Context Extension and Data Augmentation for Logical Reasoning of Text

Siyuan Wang, Wanjun Zhong+6 more|arXiv (Cornell University)|May 8, 2021

Topic Modeling被引用数 12

ひとこと要約

本論文は、論理的記号や式を明示的に特定することで、テキストにおける論理的推論を向上させる論理駆動型アプローチを提案する。論理的同値法則に基づく文脈拡張フレームワークと、意味的に類似しているが論理的に異なるインスタンスを生成するデータ拡張手法を用いる。この手法は、マルチモデルアンサンブルを用いてReClorで最先端の性能を達成し、EASYおよびHARDの両セットで人間の性能を上回った。

ABSTRACT

Logical reasoning of text requires understanding critical logical information in the text and performing inference over them. Large-scale pre-trained models for logical reasoning mainly focus on word-level semantics of text while struggling to capture symbolic logic. In this paper, we propose to understand logical symbols and expressions in the text to arrive at the answer. Based on such logical information, we not only put forward a context extension framework but also propose a data augmentation algorithm. The former extends the context to cover implicit logical expressions following logical equivalence laws. The latter augments literally similar but logically different instances to better capture logical information, especially logical negative and conditional relationships. We conduct experiments on ReClor dataset. The results show that our method achieves the state-of-the-art performance, and both logic-driven context extension framework and data augmentation algorithm can help improve the accuracy. And our multi-model ensemble system is the first to surpass human performance on both EASY set and HARD set of ReClor.

研究の動機と目的

• 単に語の意味に依存するのではなく、記号論理を明示的にモデル化することで、テキストベースの論理的推論を向上させること。
• 事前学習モデルが記号論理、特に論理的否定や条件文を捉える能力に限界があるという問題に取り組むこと。
• 論理的同値法則を用いて、暗黙の論理的式を推論する文脈拡張フレームワークを開発すること。
• 表面的には類似しているが論理的に異なる対照的な例を生成するデータ拡張戦略を設計し、一般化性能を向上させること。
• ReClorベンチマークで最先端の性能を達成し、EASYおよびHARDの両セットで人間の性能を上回ること。

提案手法

• 論理駆動型文脈拡張フレームワークは、入力テキストに含まれる論理的記号や式を特定し、論理的同値法則（例：対偶、ド・モーガンの法則）を適用して暗黙の論理的式を推論する。
• 推論された論理的式は自然言語に変換され、元の文脈に付加されて拡張された文脈が形成され、事前学習モデルへの入力として使用される。
• データ拡張アルゴリズムは、否定や条件文の変換などの操作を用いて論理的式を変更し、意味的に類似しているが論理的に異なる学習インスタンスを生成する。
• 拡張されたデータを用いて、対照的学習により事前学習モデル（RoBERTaおよびALBERT）を微調整し、モデルが微妙な論理的差異を区別する能力を強化する。
• RoBERTaおよびALBERTの予測を統合するマルチモデルアンサンブルシステムを構築し、ReClorベンチマークにおける耐障害性と性能を向上させる。
• システムは、LSATおよびGMAT試験から抽出されたデータセットであるReClorで評価され、推論能力を評価するためにEASYおよびHARDの別々のテストセットが用意されている。

実験結果

リサーチクエスチョン

• RQ1 論理的記号や式の明示的モデリングが、テキストベースの論理的推論タスクの性能向上に寄与するか？
• RQ2 論理的同値法則を用いて、自然言語文脈に暗黙の論理的内容を推論・拡張できるか、その範囲はどの程度か？
• RQ3 論理的変換に基づくデータ拡張が、特に否定や条件文のような困難な論理的関係において、モデルの一般化性能を向上させられるか？
• RQ4 論理駆動型文脈拡張とデータ拡張を統合することで、標準の事前学習モデルよりも性能向上が達成できるか？
• RQ5 論理を補強したシステムは、ReClorのような論理的推論ベンチマークで人間の性能を上回ることができるか？

主な発見

• 提案された論理駆動型文脈拡張フレームワークは、形式的推論により暗黙の論理的式を解き明かすことで、推論の正確性を顕著に向上させた。
• 論理駆動型データ拡張アルゴリズムは、特に論理的否定や条件関係の区別能力を強化し、モデルの耐障害性を向上させ、測定可能な性能向上をもたらした。
• マルチモデルアンサンブルシステムは、ReClorベンチマークで最先端の性能を達成し、EASYおよびHARDの両テストセットで以前の手法を上回った。
• 本システムは、ReClorのEASYおよびHARDの両セットで人間の性能を上回った最初のシステムであり、複雑な論理的推論における有効性を示した。
• 本手法は特に難しいインスタンスにおいて強い一般化性能を示したが、『マッチ・フラワーズ』や『弱体化』といった特定の推論タイプでは性能が限定的であった。
• アブレーションスタディの結果、文脈拡張およびデータ拡張の両コンponentsが、全体の性能向上に独立して寄与していることが確認された。