[논문 리뷰] Benchmarking Knowledge-Enhanced Commonsense Question Answering via Knowledge-to-Text Transformation

Ning Bian, Xianpei Han외 2명|arXiv (Cornell University)|2021. 01. 04.

Topic Modeling참고 문헌 42인용 수 6

한 줄 요약

이 논문은 지식기반 공감 질문 응답(CQA)을 평가하기 위해 지식 그래프에서 구조화된 지식을 자연어 텍스트로 변환하는 지식-텍스트 변환 프레임워크를 제안한다. 이는 기계적 독해(MRC) 모델과 통합하기 위해 공감 지식 그래프에서의 지식을 자연어 텍스트로 변환한다. 이 방법은 CommonsenseQA에서 최고 성능을 기록하며, 현재 모델들이 외부 지식의 잠재력을 단지 일부에 불과하게 활용하고 있음을 드러내며, 향후 연구의 핵심 방향으로 맥락 민감한 지식 선택, 이질적 지식 활용, 그리고 공감 지식이 풍부한 언어 모델을 제시한다.

ABSTRACT

A fundamental ability of humans is to utilize commonsense knowledge in language understanding and question answering. In recent years, many knowledge-enhanced Commonsense Question Answering (CQA) approaches have been proposed. However, it remains unclear: (1) How far can we get by exploiting external knowledge for CQA? (2) How much potential of knowledge has been exploited in current CQA models? (3) Which are the most promising directions for future CQA? To answer these questions, we benchmark knowledge-enhanced CQA by conducting extensive experiments on multiple standard CQA datasets using a simple and effective knowledge-to-text transformation framework. Experiments show that: (1) Our knowledge-to-text framework is effective and achieves state-of-the-art performance on CommonsenseQA dataset, providing a simple and strong knowledge-enhanced baseline for CQA; (2) The potential of knowledge is still far from being fully exploited in CQA -- there is a significant performance gap from current models to our models with golden knowledge; and (3) Context-sensitive knowledge selection, heterogeneous knowledge exploitation, and commonsense-rich language models are promising CQA directions.

연구 동기 및 목표

• 현재 지식 기반 CQA 모델이 외부 공감 지식을 얼마나 효과적으로 활용하고 있는지 평가하기 위해.
• 특히 지식 선택 및 통합 측면에서 기존 모델의 지식 활용에 대한 한계를 규명하기 위해.
• 지식-텍스트 변환을 활용해 단순하고 일반화 가능하며 강력한 기준 성능을 확립하기 위해.
• 실제 세계 지식을 사용하는 모델과 황금 표준(완벽한 사실) 지식을 사용하는 모델 간의 성능 격차를 조사하기 위해.
• 지식 기반 CQA의 향후 발전을 이끄는 데 도움이 되는 가장 유망한 연구 방향을 규명하기 위해.

제안 방법

• 질문 맥락을 기반으로 공감 지식 그래프(CKG)에서 관련 사실을 검색하기 위해.
• 템플릿 기반, 어휘 재구성 기반, 검색 기반의 세 가지 방법을 사용해 구조화된 지식 삼중항을 자연어 기술로 변환하기 위해.
• 텍스트화된 지식을 원본 질문과 답변 후보와 함께 기계적 독해(MRC) 프레임워크에 통합하기 위해.
• 미리 학습된 MRC 모델(BERT, RoBERTa 등)을 사용해 질문과 풍부한 텍스트 기반 지식을 기반으로 답변 예측하기 위해.
• 공정하고 일반화 가능한 평가를 위해 여러 표준 CQA 데이터셋에 통일된 프레임워크를 적용하기 위해.
• 실제로 검색된 지식, 노이즈가 포함된 지식, 황금 표준 지식(완벽한 사실)의 세 가지 지식 조건 하에서 모델 성능 평가하기 위해.

실험 결과

연구 질문

• RQ1 현재 최첨단 지식 기반 CQA 모델이 외부 지식의 잠재력을 얼마나 활용하고 있는가?
• RQ2 기존 지식 통합 방법과 비교해 지식-텍스트 변환 기법이 CQA 성능 향상에 얼마나 기여하는가?
• RQ3 지식 기반 CQA에서 주요 실패 원인은 무엇이며, 이는 지식 품질과 선택과 어떤 관련이 있는가?
• RQ4 지식 통합의 구성 요소 중 맥락 민감한 선택, 이질적 지식 활용, 언어 모델의 능력 중 어느 것이 성능 향상에 가장 큰 영향을 미치는가?
• RQ5 간단한 지식-텍스트 프레임워크가 지식 기반 CQA의 강력하고 일반적인 기준 성능이 될 수 있는가?

주요 결과

• 지식-텍스트 변환 프레임워크는 CommonsenseQA 데이터셋에서 최고 성능을 기록하며, 지식 기반 CQA의 강력하고 단순한 기준 성능을 확립한다.
• 실제로 검색된 지식을 사용하는 모델과 황금 표준 지식을 사용하는 모델 사이에 뚜렷한 성능 격차가 존재하며, 이는 현재 모델들이 가용 지식을 부분적으로만 활용하고 있음을 시사한다.
• 모델 오류의 70퍼센트 이상이 노이즈가 있거나 관련이 없는 지식 때문임을 확인하여 맥락 민감한 지식 선택의 절실한 필요성을 강조한다.
• 구조화된 지식와 자연어 간의 이질성은 여전히 주요 장애물이며, 심지어 간단한 지식-텍스트 변환도 GNN 및 주의 기반 모델과 같은 복잡한 모델보다 성능이 뛰어나다.
• 현재의 대규모 언어 모델(BERT, XLNet 등)은 제한된 공감 지식만을 인코딩하고 있어, 공감 지식이 풍부한 언어 모델이 향후 유망한 연구 방향임을 시사한다.
• 다양한 지식 소스(예: ConceptNet, 위키백과)를 활용한 이질적 지식 활용은 CQA 성능 향상에 강력한 잠재력을 보이고 있다.