[논문 리뷰] Commonsense Knowledge Reasoning and Generation with Pre-trained Language Models: A Survey

Prajjwal Bhargava, Vincent Ng|arXiv (Cornell University)|2022. 01. 28.

Topic Modeling인용 수 9

한 줄 요약

이 종합 검토는 사전 훈련된 언어 모델(PLM)이 추론 및 생성 작업에서 공통 지식을 어떻게 캡처하고 활용하는지 분석하며, 그 강점, 한계 및 편향을 다룹니다. 벤치마크 평가, 템플릿을 통한 PLM 지식 탐색, 보고 편향, 지식 희소성, 다국어 격차와 같은 주요 과제를 규명하고, NLP에서 강력하고 인간과 유사한 이해를 위한 향후 연구 방향을 제안합니다.

ABSTRACT

While commonsense knowledge acquisition and reasoning has traditionally been a core research topic in the knowledge representation and reasoning community, recent years have seen a surge of interest in the natural language processing community in developing pre-trained models and testing their ability to address a variety of newly designed commonsense knowledge reasoning and generation tasks. This paper presents a survey of these tasks, discusses the strengths and weaknesses of state-of-the-art pre-trained models for commonsense reasoning and generation as revealed by these tasks, and reflects on future research directions.

연구 동기 및 목표

• 사전 훈련된 언어 모델(PLM)을 활용한 공통 지식 추론 및 생성 분야의 최근 발전을 종합하는 것.
• 최근의 벤치마크를 통해 PLM이 얼마나 공통 지식을 캡처하고 활용하는지 분석하는 것.
• 모델 이해도 평가를 방해하는 주요 문제점, 예를 들어 편향과 보고 편향을 포함한 현재의 벤치마크의 한계를 규명하는 것.
• 지식 희소성, 지식 그래프의 비맥락성, 다국어 공통 지식 추론의 필요성과 같은 열린 과제를 탐색하는 것.
• 정서적 상태와 정서 상태와 같은 인지적 상태와 다중모달 신호의 통합 등 공통 지식의 미처 다루지 않은 요소를 식별하고 향후 연구를 이끌어내는 것.

제안 방법

• 지식 기반 삼중항(예: <주어, 관계, 목적어>)을 자연어 문장으로 변환하기 위해 수작업으로 작성한 템플릿을 사용한 탐색 방법을 통해 PLM의 지식를 평가하는 것.
• 대규모 텍스트에서 자기지도 학습을 통해 언어 표현의 일반성, 언어적 지식 및 공통 지식을 학습하는 것.
• PLM이 맥락적 지식 및 공통 지식을 학습할 수 있도록 사전 훈련 중에 마스킹 언어 모델링(MLM) 및 기타 자기지도 학습 과제를 적용하는 것.
• 벤치마크에서 단서 학습 경로를 생성하는 어휘 겹침과 애너테이션 아티팩트를 줄이기 위해 적대적 필터링 및 데이터 증강 기법을 사용하는 것.
• 구조적 및 의미적 연결을 활용하여 지식 그래프(KG)의 조밀성과 맥락화를 향상시켜 희소성을 줄이고 관련성을 높이는 방법을 탐색하는 것.
• 시각적 신호와 텍스트 신호를 융합하는 다중모달 접근 방식을 연구하여, 텍스트 전용 훈련을 넘어서 공통 지식 추론을 향상시키는 것.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델은 공통 지식을 얼마나 잘 캡처하고 활용하는가? 이는 신뢰할 수 있는 방식으로 어떻게 측정될 수 있는가?
• RQ2 현재의 벤치마크에서 공통 지식 추론 평가에 있어 주요한 한계는 무엇이며, 편향은 모델 성능과 해석에 어떤 영향을 미치는가?
• RQ3 보고 편향과 지식 그래프의 지식 희소성을 어떻게 완화하여 공통 지식 추론 시스템의 강건성을 향상시킬 수 있는가?
• RQ4 다중모달 데이터(예: 시각)는 PLM의 공통 지식 획득 및 추론을 향상시키는 데 어떤 역할을 할 수 있는가?
• RQ5 다국어 환경으로의 공통 지식 추론을 확장하는 데 있어 도전 과제와 기회는 무엇이며, 왜 다국어 PLM은 비영어 기반 벤치마크에서 성능이 열 劣한가?

주요 결과

• 사전 훈련된 언어 모델(PLM)은 공통 지식 추론 및 생성에서 뛰어난 능력을 보이지만, 과제 설계의 결함으로 인해 벤치마크에서의 성능 향상은 진정한 이해를 반영하지 않을 수 있다.
• 많은 기존의 벤치마크는 어휘 겹침, 예측 가능한 질문 구조, 애너테이션 아티팩트로 인해 모델이 진정한 추론 없이도 높은 정확도를 달성할 수 있도록 유도한다.
• 적대적 필터링 및 데이터 증강 기법은 단서 학습을 줄이지만, 벤치마크 설계 및 평가에서 편향 문제는 여전히 끈질리게 남아 있는 과제이다.
• 공통 지식 추론에 사용되는 지식 그래프는 종종 희소성과 비맥락성을 보이며, 이는 활용도를 제한한다. 조밀화 및 맥락화를 위한 노력은 유망하지만 아직 완료되지 않았다.
• 공통 지식이 명시되지 않고 암시적으로 표현되는 보고 편향은, 특히 훈련 데이터가 제한된 경우 과도한 일반화와 모델 편향의 악화를 초래한다.
• 다국어 PLM는 비영어 기반 공통 지식 추론 과제로의 전이 성능이 열 劣하여, 다국어 공통 지식 이해 연구 분야에서 중요한 격차를 드러낸다.