[論文レビュー] LogiGAN: Learning Logical Reasoning via Adversarial Pre-training

Xinyu Pi, Wanjun Zhong+3 more|arXiv (Cornell University)|May 18, 2022

Topic Modeling被引用数 7

ひとこと要約

LogiGAN は、文脈内のマスキングされた論理的文を予測するように訓練することで、生成器・検証者アーキテクチャを用いて自己反復的思考を模倣する、教師なしの敵対的事前学習フレームワークを提案する。この手法は、12の一般的な推論ベンチマークで顕著な性能向上を達成し、標準的な言語モデリングを超えて論理的推論能力を効果的に向上させられることを示している。

ABSTRACT

We present LogiGAN, an unsupervised adversarial pre-training framework for improving logical reasoning abilities of language models. Upon automatic identifying logical reasoning phenomena in massive text corpus via detection heuristics, we train language models to predict the masked-out logical statements. Inspired by the facilitation effect of reflective thinking in human learning, we analogically simulate the learning-thinking process with an adversarial Generator-Verifier architecture to assist logic learning. LogiGAN implements a novel sequential GAN approach that (a) circumvents the non-differentiable challenge of the sequential GAN by leveraging the Generator as a sentence-level generative likelihood scorer with a learning objective of reaching scoring consensus with the Verifier; (b) is computationally feasible for large-scale pre-training with arbitrary target length. Both base and large size language models pre-trained with LogiGAN demonstrate obvious performance improvement on 12 datasets requiring general reasoning abilities, revealing the fundamental role of logic in broad reasoning, as well as the effectiveness of LogiGAN. Ablation studies on LogiGAN components reveal the relative orthogonality between linguistic and logic abilities and suggest that reflective thinking's facilitation effect might also generalize to machine learning.

研究の動機と目的

• 事前学習された言語モデル（PLM）の論理的推論能力の欠如に起因するギャップを是正すること。
• 標準的なマスキング言語モデルを超えて、教師なしの事前学習によって論理的推論能力を体系的に向上させられるかを調査すること。
• 論理的整合性スコアリングのための二重生成器と検証者フレームワークを導入することで、機械学習における人間らしい自己反復的思考を模倣すること。
• 非微分可能なテキスト生成の問題を回避する計算的に実行可能でスケーラブルな逐次GANアプローチを構築すること。
• 論理的推論能力が一般推論の基盤的要素であり、自己教師ありの方法で効果的に事前学習可能であることを実証すること。

提案手法

• ヒューリスティックルールを用いて大規模なテキストコーパス内で論理的推論の現象（前提・結論構造）を自動的に同定する。
• 文脈を与えられたマスキングされた論理的文（例：結論）を予測する言語モデルを、マスキング言語モデルの目的関数を用いて訓練する。
• 生成器と検証者からなる新しい逐次GANフレームワークを導入：生成器は候補となる文を生成し、スコアを付与する。検証者は文脈との論理的整合性を評価する。
• 離散的シーケンス生成の非微分性を回避するため、生成器と検証者のスコアの一致を目的関数として定式化することで、学習の安定性を確保する。
• 従来の逐次GANで用いられる強化学習ベースのポリシー勾配推定に依存せず、長大なターゲットシーケンスにおける大規模な事前学習を可能にする。
• 二重の目的信号を用いる：生成器は検証者が論理的に整合的と評価する文を生成するように学習し、検証者は正しいと誤った論理的推論を区別するように学習する。

実験結果

リサーチクエスチョン

• RQ1 標準的なマスキング言語モデルを超えて、教師なしの事前学習によって事前学習された言語モデルの論理的推論能力を顕著に向上させられるか？
• RQ2 生成器・検証者アーキテクチャによる敵対的アプローチで、元の文の単純な予測を超えて、自己反復的思考を模倣することで論理的推論能力が向上するか？
• RQ3 逐次GANにおけるスコア一致メカニズムは、離散的テキスト生成の非微分性問題を効果的に回避しつつ、スケーラビリティを維持できるか？
• RQ4 LogiGANによる論理的推論の事前学習は、標準的な事前学習と比較して、多様なタスクにおける下流推論性能にどのように影響するか？
• RQ5 PLMにおける言語的能力と論理的推論能力はどれほど直交的であり、敵対的事前学習は言語の流暢さを損なわずに論理的推論能力を向上させるか？

主な発見

• LogiGANによる事前学習は、自然言語帰納、機械的読解、マルチホップ推論タスクを含む12の多様な推論ベンチマークで一貫的かつ顕著な性能向上をもたらす。
• ベースモデルおよび大規模モデルの両方が、LogiGANで事前学習されることで一般推論タスクで明確な向上を示し、論理的推論能力が広範な推論能力の根幹的かつ改善可能な要因であることを確認する。
• アブレーションスタディの結果、PLMにおける言語的および論理的能力は相対的に直交的であることが判明し、論理的推論能力が標準的な事前学習で自動的に習得されるわけではないことが示された。
• 生成器・検証者のスコア一致メカニズムは、強化学習やモンテカルロサンプルに依存せず、安定的かつスケーラブルな逐次GANの学習を可能にする。
• 敵対的事前学習フレームワークは、人間の自己反復的思考に類似した促進効果を示し、単なる予測を超えてモデルの汎化能力と論理的整合性を向上させる。
• 長大なターゲットシーケンスを対象とした大規模な事前学習においても計算的に実行可能であり、ポリシー勾配推定に依存する従来の逐次GANよりも優れた性能を発揮する。