[논문 리뷰] LogiGAN: Learning Logical Reasoning via Adversarial Pre-training

Xinyu Pi, Wanjun Zhong외 3명|arXiv (Cornell University)|2022. 05. 18.

Topic Modeling인용 수 7

한 줄 요약

LogiGAN은 생성자-검증자 아키텍처를 통해 반사적 사고를 시뮬레이션하는 비지도 적대적 사전 훈련 프레임워크를 제안하며, 문맥 속에서 마스킹된 논리적 문장을 예측하도록 훈련시켜 언어 모델의 논리적 추론 능력을 향상시킵니다. 이 방법은 12개의 일반 추론 벤치마크에서 뚜렷한 성능 향상을 보이며, 표준 언어 모델링을 초월해 논리적 추론 능력을 효과적으로 향상시킬 수 있음을 입증합니다.

ABSTRACT

We present LogiGAN, an unsupervised adversarial pre-training framework for improving logical reasoning abilities of language models. Upon automatic identifying logical reasoning phenomena in massive text corpus via detection heuristics, we train language models to predict the masked-out logical statements. Inspired by the facilitation effect of reflective thinking in human learning, we analogically simulate the learning-thinking process with an adversarial Generator-Verifier architecture to assist logic learning. LogiGAN implements a novel sequential GAN approach that (a) circumvents the non-differentiable challenge of the sequential GAN by leveraging the Generator as a sentence-level generative likelihood scorer with a learning objective of reaching scoring consensus with the Verifier; (b) is computationally feasible for large-scale pre-training with arbitrary target length. Both base and large size language models pre-trained with LogiGAN demonstrate obvious performance improvement on 12 datasets requiring general reasoning abilities, revealing the fundamental role of logic in broad reasoning, as well as the effectiveness of LogiGAN. Ablation studies on LogiGAN components reveal the relative orthogonality between linguistic and logic abilities and suggest that reflective thinking's facilitation effect might also generalize to machine learning.

연구 동기 및 목표

• 사전 훈련된 언어 모델(PLM)의 논리적 추론 능력 부족 문제를 보완하기 위해.
• 표준 마스킹된 언어 모델링을 초월해 비지도 사전 훈련을 통해 논리적 추론 능력을 체계적으로 향상시킬 수 있는지 조사하기 위해.
• 논리적 일관성 점수를 위한 이중 생성자 및 검증자 프레임워크를 도입하여 인간과 유사한 반사적 사고를 기계 학습에서 시뮬레이션하기 위해.
• 비가역적인 텍스트 생성 문제를 피하면서도 계산적으로 실현 가능한 순차적 GAN 접근법을 개발하기 위해.
• 논리적 능력이 일반 추론의 기초 요소임을 입증하고, 자율 지도 방식으로 효과적으로 사전 훈련시킬 수 있음을 보여주기 위해.

제안 방법

• 히우리틱 규칙를 사용해 대규모 텍스트 코퍼스에서 논리적 추론 현상(전제-결론 구조)을 자동으로 식별하기 위해.
• 마스킹된 논리적 문장(예: 결론)을 문맥 기반으로 예측하도록 언어 모델을 훈련시키며, 마스킹된 언어 모델링 목적을 사용하기 위해.
• 새로운 순차적 GAN 프레임워크를 도입: 생성자는 후보 문장을 생성하고 점수를 매기며, 검증자는 문맥과의 논리적 일관성을 평가합니다.
• 생성자와 검증자 간의 점수 일치를 통해 목적함수를 설정함으로써 이산적 시퀀스 생성의 비가역성 문제를 회피하고 훈련 안정성을 확보하기 위해.
• 이전의 순차적 GAN에서 사용하는 강화 학습 기반 정책 그래디언트 추정을 피함으로써 장기 목표 시퀀스에 대한 대규모 사전 훈련을 가능하게 하기 위해.
• 이중 목적 훈련 신호를 사용: 생성자는 검증자가 논리적으로 일관된 것으로 평가하는 문장을 생성하도록 학습하고, 검증자는 올바른 및 잘못된 논리적 추론을 구분하도록 학습합니다.

실험 결과

연구 질문

• RQ1 표준 마스킹된 언어 모델링을 초월해 비지도 사전 훈련을 통해 사전 훈련된 언어 모델의 논리적 추론 능력을 뚜렷이 향상시킬 수 있는가?
• RQ2 생성자-검증자 적대적 아키텍처를 통해 반사적 사고를 시뮬레이션하면 원래 문장의 단순 예측을 초월해 논리적 추론 능력을 향상시킬 수 있는가?
• RQ3 순차적 GAN에서 점수 일치 메커니즘이 이산적 텍스트 생성의 비가역성 문제를 효과적으로 회피하면서도 확장 가능성을 유지할 수 있는가?
• RQ4 LogiGAN을 통한 논리적 추론 사전 훈련은 다양한 작업에서 표준 사전 훈련 대비 후행 추론 성능에 비해 어떻게 비교되는가?
• RQ5 PLM 내 언어 능력과 논리 능력은 얼마나 상호 독립적인가? 그리고 적대적 사전 훈련은 언어 유창성을 저하시키지 않고 논리 능력을 향상시킬 수 있는가?

주요 결과

• LogiGAN 사전 훈련은 자연어 추론, 기계 독해 능력, 다단계 추론 작업을 포함한 12개의 다양한 추론 벤치마크에서 일관되고 뚜렷한 성능 향상을 이끌어냈습니다.
• 기본형 및 대용량 모델 모두 LogiGAN 사전 훈련을 통해 일반 추론 작업에서 뚜렷한 성능 향상을 보였으며, 이는 논리적 추론이 보편적 추론 능력의 핵심적이고 향상 가능한 구성 요소임을 확인합니다.
• 제거 실험 결과, PLM 내 언어 능력과 논리 능력은 비교적 상호 독립적이며, 표준 사전 훈련을 통해 논리적 추론 능력이 자동으로 습득되지 않는다는 점을 시사합니다.
• 생성자-검증자 점수 일치 메커니즘이 강화 학습이나 몬테카를로 샘플링에 의존하지 않으면서도 안정적이고 확장 가능한 순차적 GAN 훈련을 효과적으로 가능하게 합니다.
• 적대적 사전 훈련 프레임워크는 인간의 반사적 사고와 유사한 촉진 효과를 보이며, 단순 예측을 초월해 모델의 일반화 능력과 논리적 일관성을 향상시킵니다.
• 이 방법은 더 긴 목표 시퀀스를 포함한 대규모 사전 훈련에 대해 계산적으로 실현 가능하며, 이전의 정책 그래디언트 추정에 의존하는 순차적 GAN보다 성능이 뛰어나고, 시퀀스 길이에 민감하지도 않습니다.