[논문 리뷰] Knowledge-Augmented Language Models for Cause-Effect Relation Classification

Pedram Hosseini, David Broniatowski외 1명|arXiv (Cornell University)|2021. 12. 16.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 BERT와 RoBERTa의 원인-결과 관계 분류 성능을 향상시키기 위해 ATOMIC²⁰과 GLUCOSE에서 자동으로 구두화된 공공의 지식을 바탕으로 지속적인 미세조정을 수행하는 지식 보강형 사전학습 프레임워크를 제안한다. 아키텍처 변경 없이 또는 고급 훈련 데이터를 사용하지 않고도 COPA, BCOPA-CE, TCR 벤치마크에서 성능을 크게 향상시켰으며, RoBERTa-Large는 COPA-테스트에서 85.7%의 정확도를 기록했다.

ABSTRACT

Previous studies have shown the efficacy of knowledge augmentation methods in pretrained language models. However, these methods behave differently across domains and downstream tasks. In this work, we investigate the augmentation of pretrained language models with commonsense knowledge in the cause-effect relation classification and commonsense causal reasoning tasks. After automatically verbalizing ATOMIC2020, a wide coverage commonsense reasoning knowledge graph, and GLUCOSE, a dataset of implicit commonsense causal knowledge, we continually pretrain BERT and RoBERTa with the verbalized data. Then we evaluate the resulting models on cause-effect pair classification and answering commonsense causal reasoning questions. Our results show that continually pretrained language models augmented with commonsense knowledge outperform our baselines on two commonsense causal reasoning benchmarks, COPA and BCOPA-CE, and the Temporal and Causal Reasoning (TCR) dataset, without additional improvement in model architecture or using quality-enhanced data for fine-tuning.

연구 동기 및 목표

• 사전학습된 언어 모델에서 공공의 지식 통합이 원인-결과 관계 분류에 미치는 영향을 조사하는 것.
• 자동으로 구두화된 지식을 사용한 지속적 사전학습이 원인 추론 벤치마크 성능을 향상시키는지 평가하는 것.
• 아키텍처 수정 없이도 고급 훈련 데이터 없이도 지식 보강이 성능 향상에 기여할 수 있음을 보여주는 것.
• 재현성과 커뮤니티 활용을 위해 코드와 모델을 공개하는 것.

제안 방법

• 인간이 이해할 수 있는 템플릿을 사용해 ATOMIC²⁰ 지식 그래프의 삼중항을 자연어 문장으로 변환한다.
• 수정된 원인 연결어 템플릿을 사용해 GLUCOSE의 암묵적 원인 지식을 자연어로 변환한다.
• 구두화된 공공의 지식을 사용해 마스크된 언어 모델링을 통해 BERT와 RoBERTa를 지속적으로 사전학습시킨다.
• 결과로 도출된 모델을 원인-결과 쌍 데이터셋에 대해 제로샷 또는 피처샷 분류에 활용한다.
• 추가적인 미세조정이나 손실 함수 수정 없이 COPA, BCOPA-CE, TCR 벤치마크에서 성능을 평가한다.
• 기본 성능이 랜덤 수준에 가까운 경우, '그러므로' 또는 '그러므로'와 같은 프롬프트 엔지니어링을 적용해 BCOPA-CE에서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 자동으로 구두화된 공공의 지식을 사용한 지속적 사전학습이 사전학습된 언어 모델에서 원인-결과 관계 분류 성능을 향상시킬 수 있는가?
• RQ2 ATOMIC²⁰와 GLUCOSE에서 온 지식 보강이 원인 추론 벤치마크에서 표준 미세조정과 비교해 어떻게 성능을 높이는가?
• RQ3 성능 향상 효과가 어려운 예제나 암묵적 원인 추론 작업에서도 유지되는가?
• RQ4 T5-11B와 같은 더 큰 모델에 비해 지식 보강 사전학습을 통해 BERT-Large와 같은 작은 모델도 경쟁적인 성능을 낼 수 있는가?
• RQ5 프롬프트 엔지니어링이 모호하거나 암묵적인 원인 추론 작업에서 성능 향상에 기여하는가?

주요 결과

• GLUCOSE의 구두화된 데이터로 미세조정한 RoBERTa-Large는 COPA-테스트에서 85.7%의 정확도를 기록했으며, 베이스라인 RoBERTa-Large(74.1%)를 뛰어넘었고, 파arameter가 더 적은 점을 감안할 때 T5-11B(94.8%)의 정확도를 뛰어넘는 성능을 보였다.
• GLUCOSE로 보강된 RoBERTa-Large 모델은 COPA의 하드 스플릿에서 83.3%의 정확도를 기록했으며, 베이스라인 RoBERTa-Large(70.2%)를 크게 앞서며 도전적인 예제에 대한 강건성을 입증했다.
• ATOMIC²⁰로 보강된 RoBERTa-Large 모델은 이벤트 관련 관계만을 사용해 미세조정했을 때 COPA에서 84.9%의 정확도를 기록했으며, 이는 공공의 지식의 일부만으로도 성능 향상이 가능함을 보여준다.
• BCOPA-CE에서 GLUCOSE로 보강된 RoBERTa-Large 모델은 프롬프트 엔지니어링을 적용해 66.1%의 정확도를 기록했으며, Han과 Wang(2021)의 b-l-aug 및 b-l-reg 모델을 모두 앞섰다.
• 지식 보강 모델은 아키텍처 변경 없이도 추가적인 미세조정 데이터 없이도 TCR 데이터셋에서 베이스라인을 초월했으며, 공공의 지식을 사용한 지속적 사전학습의 효과성을 확인했다.
• 저자들은 코드와 모델을 공개하여 재현성과 지식 보강 원인 추론 분야의 향후 연구를 가능하게 했다.