[논문 리뷰] Connecting the Dots: A Knowledgeable Path Generator for Commonsense Question Answering

Peifeng Wang, Nanyun Peng외 3명|arXiv (Cornell University)|2020. 05. 02.

Topic Modeling참고 문헌 41인용 수 12

한 줄 요약

이 논문은 일반 지식 질문 응답에서 지식 그래프의 희소성 문제를 해결하기 위해 미세튜닝된 GPT-2를 사용해 질문 엔티티와 답변 엔티티 간에 동적으로 새로운 다단계 관계 경로를 생성하는 지식 기반 경로 생성기를 제안한다. 이 방법은 정적 지식 그래프 기반 모델 대비 정확도를 최대 6% 향상시키며, 특히 데이터가 적은 환경에서 효과적이다. 또한 생성기의 미세튜닝 없이도 해석 가능하고 관련성 있으며 새로운 경로를 생성한다.

ABSTRACT

Commonsense question answering (QA) requires background knowledge which is not explicitly stated in a given context. Prior works use commonsense knowledge graphs (KGs) to obtain this knowledge for reasoning. However, relying entirely on these KGs may not suffice, considering their limited coverage and the contextual dependence of their knowledge. In this paper, we augment a general commonsense QA framework with a knowledgeable path generator. By extrapolating over existing paths in a KG with a state-of-the-art language model, our generator learns to connect a pair of entities in text with a dynamic, and potentially novel, multi-hop relational path. Such paths can provide structured evidence for solving commonsense questions without fine-tuning the path generator. Experiments on two datasets show the superiority of our method over previous works which fully rely on knowledge from KGs (with up to 6% improvement in accuracy), across various amounts of training data. Further evaluation suggests that the generated paths are typically interpretable, novel, and relevant to the task.

연구 동기 및 목표

• 일반 지식 질문 응답에서 정적 일반 지식 지식 그래프(KG)의 희소성과 맥락 부족 문제를 해결하기 위해.
• 지식 그래프에 연결이 없더라도 질문과 답변 엔티티 간에 동적으로 다단계 경로를 생성할 수 있도록 하기 위해.
• 사전 훈련된 언어 모델을 사용해 지식 그래프 사실에 대해 일반화하는 지식 경로 생성기를 도입함으로써 기존 프레임워크를 보완하고 QA 성능을 향상시키기 위해.
• 미세튜닝 없이도 해석 가능하고 새로운, 관련성이 있는 경로를 생성하여 추론을 위한 구조화된 증거로 활용하기 위해.

제안 방법

• 경로 품질을 확보하기 위해 규칙과 제약 조건을 사용해 정적 일반 지식 지식 그래프(ConceptNet)에서 정보성 있고 관련성이 높은 무작위 워크를 샘플링한다.
• 샘플링된 경로에 대해 GPT-2를 미세튜닝하여 질문과 답변 엔티티 간의 다단계 관계 경로를 생성하도록 학습한다.
• 단일 순방향 전파를 통해 경로를 종단 간(end-to-end)으로 생성함으로써 기존 지식 그래프 사실을 초월해 외삽할 수 있도록 한다.
• 생성된 경로를 지식 임베딩으로 집계하고, 텍스트 인코더에서 생성된 컨텍스트 임베딩과 융합하여 분류를 수행한다.
• 지식 그래프 정보의 역할을 연구하기 위해 세 가지 변종을 구현한다: Global(전체 그래프 컨텍스트), Local(제한된 컨텍스트), Scratch(외부 지식 그래프 입력 없음).
• 다운스트림 일반 지식 QA 작업에서의 영향을 평가하기 위해 경로 생성기를 일반 QA 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델을 효과적으로 미세튜닝하여 정적 지식 그래프의 누락된 연결을 메우는 새로운 다단계 관계 경로를 생성할 수 있는가?
• RQ2 정적 지식 그래프 사실에 의존하는 것과 비교해 동적으로 생성된 경로를 통합했을 때 QA 시스템의 성능 향상은 어떻게 이루어지는가?
• RQ3 특히 자원이 제한된 훈련 환경에서 생성된 경로가 얼마나 해석 가능하고, 새로운지, 그리고 작업에 관련성이 있는가?
• RQ4 전체 그래프 컨텍스트와 국소 그래프 컨텍스트를 포함했을 때 생성된 경로의 품질과 유용성은 어떻게 영향을 받는가?
• RQ5 경로 생성기가 작업에 특화된 미세튜닝 없이도 다양한 QA 프레임워크를 향상시킬 수 있는 플러그인 모듈로 활용될 수 있는가?

주요 결과

• 제안된 경로 생성기는 정적 지식 그래프에만 의존하는 기준 모델 대비 일반 지식 QA 정확도를 최대 6% 향상시키며, 특히 데이터가 적은 영역에서 가장 큰 성과를 보였다.
• 이 방법은 제한된 훈련 데이터에 대해 강건하며, 훈련 데이터가 줄어들수록 정확도 향상이 증가함으로써 경로 생성기가 강력한 인덕티브 바이어스를 제공한다는 것을 시사한다.
• 인간 평가를 통해 생성된 경로가 해석 가능하고 관련성이 있음을 확인했으며, 예를 들어 '조화'를 '평화를 이루다'로 연결하는 타당한 추론 단계를 포함한 논리적 연결이 존재함을 확인했다.
• 자동 평가 결과, 생성된 경로에 원래 지식 그래프에 존재하지 않는 높은 비율의 새로운 유효한 삼중항이 포함되어 있음을 확인했으며, 예를 들어 '동굴' → 'IsA' → '지질학적 특징'과 같은 삼중항이 포함되었다.
• 전체 그래프 컨텍스트를 사용하는 Global 변종이 Local 및 Scratch 변종보다 우수한 성능을 보였으며, 이는 더 넓은 지식 그래프 구조에 접근할 수록 경로 품질이 향상됨을 시사한다.
• 경로 생성기는 복잡한 추론 케이스에서도 정확한 1단계 및 2단계 경로를 생성할 수 있었으며, 예를 들어 '영화'를 '즐거움을 느끼다'로 연결하거나 '조화'를 '평화를 이루다'로 연결하는 데 성공했고, 잘못되거나 모호한 관계를 피했다.