[논문 리뷰] Calibrating Factual Knowledge in Pretrained Language Models

Qingxiu Dong, Damai Dai외 4명|arXiv (Cornell University)|2022. 10. 07.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 재학습 없이 사전학습된 언어 모델(PLMs)의 사실 지식을 校정하는 경량의, 작업에 종속되지 않는 방법인 CaliNet을 제안한다. 대조적 지식 평가(CKA)를 통해 잘못된 사실을 탐지하고, 기억 슬롯을 갖춘 校정된 피드포워드 네트워크를 주입하여 이를 수정함으로써, 탐색 및 질의응답 작업에서 높은 정확도와 일반화 성능을 달성한다.

ABSTRACT

Previous literature has proved that Pretrained Language Models (PLMs) can store factual knowledge. However, we find that facts stored in the PLMs are not always correct. It motivates us to explore a fundamental question: How do we calibrate factual knowledge in PLMs without re-training from scratch? In this work, we propose a simple and lightweight method CaliNet to achieve this goal. To be specific, we first detect whether PLMs can learn the right facts via a contrastive score between right and fake facts. If not, we then use a lightweight method to add and adapt new parameters to specific factual texts. Experiments on the knowledge probing task show the calibration effectiveness and efficiency. In addition, through closed-book question answering, we find that the calibrated PLM possesses knowledge generalization ability after fine-tuning. Beyond the calibration performance, we further investigate and visualize the knowledge calibration mechanism.

연구 동기 및 목표

• 사전학습된 언어 모델(PLMs)에 저장된 잘못된 사실 지식이 지식 집약적 작업의 성능을 떨어뜨리는 문제를 해결하기 위해.
• 초기 재학습 없이도 PLMs의 사실 오류를 탐지하고 수정할 수 있는 방법을 개발하기 위해.
• 동일한 사실의 다양한 표면 형태로도 校정된 지식이 일반화됨을 보장하기 위해.
• 신경망 수준에서 지식 校정의 내부 메커니즘을 조사하기 위해.

제안 방법

• 정확한 사실과 여러 개의 잘못된 사실을 대조적으로 비교함으로써 PLMs의 예측 점수를 평가하는 대조적 지식 평가(CKA)를 제안한다.
• 탐색을 위해 사실 삼중항을 자연어 입력으로 변환하기 위해 클로즈 스타일 프롬프트를 사용한다.
• 특정 피드포워드 네트워크(FFNs)에 校정 메모리 슬롯을 추가하여 올바른 사실을 저장하고 적응시키는, 파rameter 효율적인 방법인 CaliNet을 도입한다.
• 기존 PLM 가중치를 수정하지 않고 FFN 레이어에 새로운 파라미터를 주입함으로써, 퍼티닝을 통한 지식 校정을 가능하게 한다.
• PLMs의 의미 모델링 능력을 활용하기 위해, 다듬어진 자연문장들을 校정 신호로 활용한다.
• 모델 예측의 변화를 추적하여 네트워크 내부에서 언제, 어디서 校정이 일어나는지 분석한다.

실험 결과

연구 질문

• RQ1 기존의 순위 기반 메트릭이 실패할 때, PLMs에 저장된 사실 지식의 정확성을 신뢰성 있게 평가할 수 있는 방법은 무엇인가?
• RQ2 재학습 없이도 경량의, 파rameter 효율적인 방법이 PLMs의 사실 오류를 수정할 수 있는가?
• RQ3 CaliNet을 통한 지식 校정은 동일한 사실의 예상치 못한 표면 형태로 일반화되는가?
• RQ4 신경망 수준에서 지식 校정의 내부 메커니즘은 무엇이며, 校정 메모리 슬롯은 어떤 기여를 하는가?

주요 결과

• CKA는 T-REx 데이터셋에서 샘플링한 거의 50%의 사실이 PLMs에 잘못 저장되어 있음을 드러내며, 사실 오류의 광범위한 존재를 확인한다.
• 실제 인간 애너테이션 테스트 데이터에서 CaliNet은 거짓 양성률을 35.61% 감소시켜 강력한 校정 효과를 입증한다.
• 교정된 PLM은 닫힌 책 질문 응답에 잘 일반화되며, 후행 지식 집약적 작업에서 원본 모델을 능가한다.
• 교정 메모리 슬롯은 특정 사실 오류를 정확히 수정하기 위해 활성화되고 선택적으로 작동함을 발견하여, 표적 지식 적응의 가능성을 시사한다.
• 목표로 하지 않은 사실들에 대해서는 원본 모델의 동작을 유지하여 치명적인 기억 상실을 최소화함을 보여준다.
• 예측 변화의 시각화 결과, 사실 지식이 저장된 FFN 레이어에서 주로 校정이 일어남을 확인한다.