[논문 리뷰] Facts as Experts: Adaptable and Interpretable Neural Memory over Symbolic Knowledge

Pat Verga, Haitian Sun외 2명|arXiv (Cornell University)|2020. 07. 02.

Topic Modeling참고 문헌 37인용 수 27

한 줄 요약

이 논문은 신뢰할 수 있고 유연하며 업데이트 가능한 사실 추론을 가능하게 하기 위해 신호 지식 메모리와 신경 표현을 통합하는 신경 언어 모델인 Facts as Experts (FaE)를 제안한다. 재학습 없이도 실시간으로 사실을 주입하고 수정할 수 있도록 함으로써, FaE는 추론 시 새로운 사실을 주입할 경우 지식 집약형 QA 작업에서 9.3%의 성능 향상을 달성하며, 정확도와 해석 가능성 측면에서 표준 모델을 능가한다.

ABSTRACT

Massive language models are the core of modern NLP modeling and have been shown to encode impressive amounts of commonsense and factual information. However, that knowledge exists only within the latent parameters of the model, inaccessible to inspection and interpretation, and even worse, factual information memorized from the training corpora is likely to become stale as the world changes. Knowledge stored as parameters will also inevitably exhibit all of the biases inherent in the source materials. To address these problems, we develop a neural language model that includes an explicit interface between symbolically interpretable factual information and subsymbolic neural knowledge. We show that this model dramatically improves performance on two knowledge-intensive question-answering tasks. More interestingly, the model can be updated without re-training by manipulating its symbolic representations. In particular this model allows us to add new facts and overwrite existing ones in ways that are not possible for earlier models.

연구 동기 및 목표

• 신경 언어 모델 파라미터에 저장된 사실 지식의 투명성 부족과 유연성 부족 문제를 해결한다.
• 모델 재학습 없이도 실시간으로 비모수적 방식으로 사실 지식을 업데이트할 수 있도록 한다.
• 학습된 파라미터에서 기호적 사실을 분리함으로써 해석 가능성 향상과 편향 감소를 도모한다.
• 원래의 사전학습 데이터에 포함되지 않은 새로운 또는 수정된 사실에 대해 추론할 수 있도록 한다.
• 실제 세계의 변화를 반영하기 위해 추론 시점에 사실 지식을 동적으로 수정할 수 있음을 입증한다.

제안 방법

• 사전학습된 언어 모델에 기호적 비모수적 메모리(예: (엔티티, 관계, 엔티티) 형태의 삼중항)를 통합한다.
• 가능한 한 유연한 어텐션 메커니즘을 사용해 추론 중 관련 사실을 기호 메모리에서 검색한다.
• 검색된 기호적 사실과 트랜스포머 인코더에서 생성된 문맥 임베딩을 결합하여 예측을 도출한다.
• 모델 가중치를 수정하지 않고도 사용자가 추론 시점에 메모리에 사실을 주입하거나 덮어쓰도록 허용한다.
• 데이터 泄露를 방지하고 일반화 능력을 평가하기 위해 필터링된 훈련 데이터로 미세조정된 모델을 사용한다.
• 일반화 능력을 유지하면서 수정된 지식을 테스트하기 위해 미세조정 중 조기 정지 기법을 적용한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 추론 시점에 새로 주입된 기호적 사실을 효과적으로 통합하고 추론할 수 있는가?
• RQ2 원래 사전학습 지식을 대체하는 모순적인 사실에 대해 모델이 얼마나 잘 적응할 수 있는가?
• RQ3 실제 세계의 변화를 반영하기 위해 사실 지식을 업데이트했을 때 성능이 얼마나 떨어지며, 모델은 여전히 일반화할 수 있는가?
• RQ4 기호 메모리 주입이 표준 미세조정 방식을 초월해 사실 기반 QA 성능을 향상시킬 수 있는가?
• RQ5 잠재적 지식에 의존하는 것과 기호적 사실을 명시적으로 사용하는 것 간에 모델 성능는 어떻게 비교되는가?

주요 결과

• FaE는 추론 시점에 새로운 사실을 주입했을 때, 필터링된 설정 대비 FreebaseQA에서 9.3%의 절대적인 성능 향상을 달성했다.
• WebQuestionsSP에서 FaE는 새로운 사실을 주입했을 때 필터링 기반 설정 대비 6.9% 향상된 성능을 보이며 강력한 일반화 능력을 입증했다.
• 사전학습 기간 동안 볼 수 없었던 사실을 주입했을 때도 FaE는 48.0%의 F1 점수를 유지하며, 파라미터화된 지식에 의존하는 모델들을 능가했다.
• 원래 답변을 타당한 대체 답변으로 교체했을 때 FaE는 수정된 질문 중 30%를 올바르게 답했으며, 모순된 지식에 대해 부분적인 내성성을 보였다.
• FaE는 추론 시점에 기존 사실을 새로운 것으로 성공적으로 대체하여 재학습 없이도 동적 적응성을 입증했다.
• 새로운 지식 통합 메커니즘이 없는 기준 모델 EaE보다 FaE는 주입된 사실 설정에서 더 뛰어난 성능을 보였다.