[논문 리뷰] Why Do Masked Neural Language Models Still Need Common Sense Knowledge?

Sunjae Kwon, Cheongwoong Kang외 2명|arXiv (Cornell University)|2019. 11. 08.

Topic Modeling참고 문헌 22인용 수 12

한 줄 요약

이 논문은 BERT와 같은 마스크된 신경 언어 모델(MNLMs)이 강력한 성능을 보임에도 불구하고 공통된 사고 추론 문제 해결에서 여전히 어려움을 겪는 이유를 조사한다. 외부 공통 지식 통합 방법을 통해 성능 향상을 확인하기 위해 공통 지식 탐지 테스트를 제안하며, MNLMs가 의미 관계를 부분적이고 정확도가 떨어지는 방식으로 이해하고 있음을 발견한다. 연구는 외부 공통 지식 통합(수동 질문 수정 또는 신경 메모리 네트워크를 통한 자동 통합)이 공통 지식 의존적인 어려운 질문에서 MNLM 성능을 크게 향상시킴을 보여주며, 특히 동의어 관계나 관계 추론이 필요한 질문에서 유의미한 개선 효과를 보인다.

ABSTRACT

Currently, contextualized word representations are learned by intricate neural network models, such as masked neural language models (MNLMs). The new representations significantly enhanced the performance in automated question answering by reading paragraphs. However, identifying the detailed knowledge trained in the MNLMs is difficult owing to numerous and intermingled parameters. This paper provides empirical but insightful analyses on the pretrained MNLMs with respect to common sense knowledge. First, we propose a test that measures what types of common sense knowledge do pretrained MNLMs understand. From the test, we observed that MNLMs partially understand various types of common sense knowledge but do not accurately understand the semantic meaning of relations. In addition, based on the difficulty of the question-answering task problems, we observed that pretrained MLM-based models are still vulnerable to problems that require common sense knowledge. We also experimentally demonstrated that we can elevate existing MNLM-based models by combining knowledge from an external common sense repository.

연구 동기 및 목표

• 사전에 훈련된 마스크된 신경 언어 모델(MNLMs)이 특히 의미 관계를 포함한 체계적인 공통 지식을 습득했는지 조사하기.
• MNLMs가 여전히 어려움을 겪는 질문-답변 문제의 유형, 특히 공통 지식 추론이 필요한 문제를 특정하기.
• ConceptNet 같은 저장소에서 온 외부 공통 지식이 MNLM 기반 독해 모델의 성능을 향상시킬 수 있는지 평가하기.
• 외부 공통 지식을 자동으로 MNLM 표현과 융합하는 데 목적이 있는 신경 메모리 네트워크 아키텍처를 설계하고 검증하기.

제안 방법

• ConceptNet 삼항관계를 사용하여 MNLMs의 공통 지식 이해도를 평가하는 지식 탐지 테스트를 제안하며, 의미 관계에 초점을 맞춘다.
• 질문과 맥락 간의 어휘 일치도를 기반으로 문제 난이도를 정의하며, 의미 변형과 공통 지식이 주요 난이도 요인임을 규명한다.
• 외부 공통 지식 삼항관계를 인코딩하고, 소프트 어텐션 메커니즘을 사용해 MNLM의 은닉 상태와 융합하는 신경 메모리 네트워크를 설계한다.
• 지식 인식 어텐션 모듈을 구현: $ I = H + \text{Softmax}(Q \cdot K) \cdot V $, 여기서 $ Q $, $ K $, $ V $ 는 MNLM 및 공통 지식 표현의 선형 투영이다.
• 두 가지 실험을 수행: 외부 지식를 포함하도록 질문을 수동으로 수정하고, 제안된 신경 아키텍처를 통해 지식를 자동으로 통합한다.
• SQuAD에서 정확도 매칭 및 F1 스코어를 사용해 성능을 평가하며, 기준 MNLM과 지식 증강 모델을 비교한다.

실험 결과

연구 질문

• RQ1 MNLMs는 속성 간 의미 관계를 포함해 다양한 유형의 공통 지식을 이해하는가?
• RQ2 MNLMs는 '원인'과 '방지'처럼 관련되지만 반대되는 관계를 구분할 수 있는가?
• RQ3 독해 문제의 난이도는 어휘 일치도와 의미 변형도와 어떻게 관련되는가?
• RQ4 MNLMs가 가장 어려움을 겪는 독해 문제의 유형은 무엇이며, 그 이유는 무엇인가?
• RQ5 외부 공통 지식은 MNLM 기반 질문-답변 모델의 성능을 향상시킬 수 있는가?

주요 결과

• MNLMs는 공통 지식을 부분적으로 이해할 뿐이며, 반대 관계(예: '원인' 대 '방지')를 정확히 구분하지 못해 지식 통합이 불완전하고 정확도가 떨어짐을 보여준다.
• 공통 지식이 필요한 문제, 특히 동의어 관계나 관계 추론이 필요한 문제는 어휘 일치도에 의존하는 문제보다 훨씬 더 어렵게 작용함을 확인한다.
• 수동으로 외부 공통 지식을 통합한 결과, Domain A의 어려운 100개 질문에 대해 BERT large 모델의 성공률이 56%로 향상됨.
• 제안된 신경 메모리 네트워크를 통해 외부 지식를 융합한 결과, SQuAD에서 BERT large의 F1 스코어가 80.11에서 81.87로 상승했으며, 정확도 매칭 스코어는 78.99%를 기록함.
• 지식 증강 모델은 Domain A의 100개 어려운 질문 중 12개를 올바르게 답변했으며, 이는 모두 공통 지식 또는 동의어 유형의 문제였고, 외부 지식의 효과성을 확인함.
• 결과는 MNLMs가 의미 변형과 관계 추론에 여전히 취약함을 보여주며, 외부 지식 통합의 지속적인 필요성을 강조한다.