[논문 리뷰] Weakly Supervised Explainable Phrasal Reasoning with Neural Fuzzy Logic

Zijun Wu, Zi Xuan Zhang외 4명|arXiv (Cornell University)|2021. 09. 18.

Topic Modeling참고 문헌 35인용 수 5

한 줄 요약

이 논문은 자연어 추론(NLI)를 위한 약한 감독을 받는 신경 퍼지 논리 모델인 설명 가능한 어절 수리(EPR)를 제안한다. 이 모델은 어절 수준의 논리적 관계(함의, 모순, 중립)를 탐지하고, 미분 가능한 퍼지 논리로 문장 수준의 레이블을 유도한다. 모델은 인간이 주석을 달지 않은 추론 과정만을 사용하여 e-SNLI에서 텍스트 설명 생성 작업에서 최신 기준 성능(SoTA)을 달성하며, BLEU 점수에서 2포인트 향상되었다.

ABSTRACT

Natural language inference (NLI) aims to determine the logical relationship between two sentences, such as Entailment, Contradiction, and Neutral. In recent years, deep learning models have become a prevailing approach to NLI, but they lack interpretability and explainability. In this work, we address the explainability of NLI by weakly supervised logical reasoning, and propose an Explainable Phrasal Reasoning (EPR) approach. Our model first detects phrases as the semantic unit and aligns corresponding phrases in the two sentences. Then, the model predicts the NLI label for the aligned phrases, and induces the sentence label by fuzzy logic formulas. Our EPR is almost everywhere differentiable and thus the system can be trained end to end. In this way, we are able to provide explicit explanations of phrasal logical relationships in a weakly supervised manner. We further show that such reasoning results help textual explanation generation.

연구 동기 및 목표

• 딥 러닝 기반 NLI 모델의 해석 불가능성 문제를 해결하기 위해 약한 감독을 받는 수리 메커니즘을 도입한다.
• 전제 문장과 가설 문장의 어절 간 명시적이고 인간이 이해할 수 있는 논리적 관계(예: 함의, 모순)를 가능하게 한다.
• 미분 가능한 퍼지 논리 공식을 사용해 어절 수준 예측에서 문장 수준의 NLI 레이블을 도출한다.
• 자동으로 추출된 어절 수리 과정이 인간 주석이 없는 조건에서도 텍스트 설명 생성 품질을 향상시킬 수 있음을 입증한다.
• 인간 주석이 달린 레이블과 평가 지표를 포함한 어절 수리 신규 벤치마크를 개발한다.

제안 방법

• 신경 어절 청커를 사용해 전제와 가설에서 의미 어절을 탐지한 후, 임베딩 기반 어절 정렬을 수행한다.
• 각 정렬된 어절 쌍을 세 가지 NLI 관계(함의, 모순, 중립)로 분류하는 미분 가능한 어절 예측기 모델을 학습한다.
• 신경 퍼지 논리를 사용해 어절 수준 예측 결과를 문장 수준의 NLI 레이블로 집계하여 엔드 투 엔드 학습을 가능하게 한다.
• 어휘 수준 주석이 아닌 문장 수준의 NLI 레이블만을 사용해 전체 시스템을 약한 감독 방식으로 학습한다.
• 예측된 어절 수리 관계를 사실적 지식으로 활용해 시퀀스 투 시퀀스 텍스트 생성 모델을 조정하여 설명을 생성한다.
• 인간 주석이 달린 어절 레이블과 평가 지표를 포함한 종합적인 평가 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 문장 수준의 NLI 레이블만을 사용해 약한 감독을 받는 어절 수리가 어휘 수준 주석 없이 효과적으로 학습될 수 있는가?
• RQ2 신경 퍼지 논리가 어절 수준 예측 결과를 문장 수준 레이블로 집계하는 데 있어 미분 가능하고 해석 가능한 메커니즘을 제공할 수 있는가?
• RQ3 추출된 어절 수리 논리적 관계가 NLI에서 생성된 텍스트 설명의 품질을 향상시키는가?
• RQ4 EPR의 성능은 어절 수리 및 후속 설명 생성 작업에서 강력한 기준 모델들과 비교해 어떻게 되는가?
• RQ5 EPR가 자동으로 생성한 어절 추론 과정이 설명 생성에서 인간 주석이 달린 강조 문구보다 우수한가?

주요 결과

• EPR는 경쟁 모델 대비 인간 주석 기반 레이블과 비교해 어절 수리 작업에서 유의미하게 높은 F1 점수를 기록하여 의미 있는 논리적 관계를 효과적으로 포착함을 입증한다.
• EPR가 생성한 어절 추론 과정만을 사용해 e-SNLI 데이터셋에서 텍스트 설명 생성 작업에서 최신 기준 BLEU 점수 42.63을 달성했으며, 인간 주석이 달린 강조 문구를 사용하는 모델보다 2포인트 높은 성능을 보였다.
• 64M 파라미터를 가진 T5-small 모델을 EPR로 미세 조정한 결과, 더 큰 모델(220M 및 11B 파라미터)을 초월하는 설명 품질을 달성했으며, 이는 고품질의 수리 신호의 가치를 시사한다.
• 모델의 전역 특징 사용은 문장 수준 정확도를 높이지만 어휘 수리 성능을 저하시켜, 정확도와 의미 있는 수리 간의 상충 관계를 드러낸다.
• 통제 실험에서 EPR 모델의 어절 수리 출력 결과는 인간 주석이 달린 강조 문구보다 더 유용한 정보를 제공했으며, 동일한 설정에서 BLEU 점수 2포인트 향상으로 이를 입증했다.
• 제거 실험 결과, 전역 특징을 사용한 평균 집계 방식은 높은 문장 수준 정확도를 달성하지만 의미 있는 어절 수리 학습에 실패함을 확인했으며, 이는 명시적 수리 구성 요소의 중요성을 강조한다.