[논문 리뷰] CommonGen: A Constrained Text Generation Challenge for Generative Commonsense Reasoning

Bill Yuchen Lin, Wangchunshu Zhou외 5명|arXiv (Cornell University)|2019. 11. 09.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 공통지식 기반 문장 생성 능력을 평가하기 위한 제약 조건이 있는 텍스트 생성 작업인 CommonGen을 소개한다. 이 작업은 주어진 개념들로부터 관계적 추론과 구성적 일반화가 필요한 사실적이고 공통지식이 풍부한 문장을 생성하는 능력을 평가한다. T5와 같은 최신 모델이 31.00의 SPICE 점수를 기록했음에도 불구하고 인간 성능(52.43)과 비교해 큰 격차가 존재함을 시사하며, 자연어처리 분야에서 생성형 공통지식 추론의 과제가 여전히 남아 있음을 보여준다.

ABSTRACT

Recently, large-scale pre-trained language models have demonstrated impressive performance on several commonsense-reasoning benchmark datasets. However, building machines with commonsense to compose realistically plausible sentences remains challenging. In this paper, we present a constrained text generation task, CommonGen associated with a benchmark dataset, to explicitly test machines for the ability of generative commonsense reasoning. Given a set of common concepts (e.g., {dog, frisbee, catch, throw}); the task is to generate a coherent sentence describing an everyday scenario using these concepts (e.g., "a man throws a frisbee and his dog catches it"). The CommonGen task is challenging because it inherently requires 1) relational reasoning with background commonsense knowledge, and 2) compositional generalization ability to work on unseen concept combinations. Our dataset, constructed through a combination of crowdsourced and existing caption corpora, consists of 79k commonsense descriptions over 35k unique concept-sets. Experiments show that there is a large gap between state-of-the-art text generation models (e.g., T5) and human performance. Furthermore, we demonstrate that the learned generative commonsense reasoning capability can be transferred to improve downstream tasks such as CommonsenseQA by generating additional context.

연구 동기 및 목표

• 기존의 분류형 공통지식 작업을 넘어서 생성형 공통지식 추론을 평가할 수 있는 벤치마크 작업의 부족을 해결하기 위해.
• 주어진 공통 개념 집합을 사용해 문법적으로 올바르고 사실적인 문장을 구성할 수 있도록 요구하는 제약 조건이 있는 생성 작업을 설계하기 위해.
• 두 가지 핵심 과제인 공통지식 지식에 대한 관계적 추론과 새로운 개념 조합에 대한 구성적 일반화 능력을 평가하기 위해.
• 통제된 커뮤니티 작업을 통해 35,141개의 고유한 개념 집합에 대해 77,449개의 문장을 포함한 대규모 고품질 데이터셋을 구축하기 위해.
• 성공적인 생성형 공통지식 모델이 유용한 맥락적 상황을 생성함으로써 후행 작업의 성능을 향상시킬 수 있음을 보여주기 위해.

제안 방법

• CommonGen 작업은 k개의 개념 집합을 순서 없는 형태로 입력받아 일상적인 상황을 담은 일관되고 자연스러운 문장으로 변환하는 텍스트 생성 문제로 정의된다.
• 데이터셋은 기존의 캡션 코퍼스와 통제된 커뮤니티 작업을 융합한 하이브리드 접근 방식을 통해 다양성과 공통지식적 사실성 확보를 위해 구성된다.
• T5, BART, GPT-2, UniLM 등의 표준 사전학습된 아키텍처를 사용해 CommonGen 데이터셋에 대해 미세조정을 수행하며, 개발 세트에서 초모델 하이퍼파라미터 튜닝과 beam search 디코딩을 적용한다.
• 평가에는 자동 평가 지표(ROUGE, BLEU, METEOR, CIDEr, SPICE)와 수동 평가를 병행하여 사실성과 공통지식적 사실성의 정확도를 평가한다.
• 전이 학습 연구를 통해 CommonGen에서 학습한 모델이 맥락적 배경 상황을 생성함으로써 후행 공통지식 질문-답변 작업의 성능을 향상시킬 수 있음을 입증한다.
• 수정자 인터페이스에는 품사 힌트를 포함하여 평가 속도를 향상시키면서도 문장의 다양성과 자연스러움을 유지한다.

실험 결과

연구 질문

• RQ1 최신 텍스트 생성 모델들이 주어진 개념 집합을 제약 조건으로 삼을 때 사실적이고 공통지식이 풍부한 문장을 생성할 수 있는가?
• RQ2 현재 모델들이 새로운 개념 조합에 대해 생성 작업에서 관계적 추론과 구성적 일반화 능력을 얼마나 잘 발휘하는가?
• RQ3 생성형 모델의 CommonGen 성능가 인간 성능 간의 사실성과 공통지식적 사실성 측면에서의 성능 격차는 어느 정도인가?
• RQ4 공통지식 기반 맥락을 생성할 수 있는 능력이 공통지식 추론 분야의 후행 작업 성능 향상에 기여할 수 있는가?
• RQ5 현재 모델들이 공통지식 기반 문장을 생성할 때 나타나는 주요 실패 유형은 무엇인가?

주요 결과

• 가장 높은 성능을 보인 T5-Large 모델은 SPICE 점수 31.00을 기록했으나, 인간 성능(52.43)과 비교해 크게 떨어지며 생성형 공통지식 추론 능력의 큰 격차를 시사한다.
• 최신 모델들은 자주 부적절한 문장을 생성하며, 예를 들어 '개가 프리스비를 던진다' 또는 '테이블에게 마사지를 한다' 같은 문장은 관계적 추론 능력의 열악함을 보여준다.
• CommonGen에서 학습한 모델는 전이 가능성을 보이며, 맥락적 배경 상황을 생성함으로써 후행 공통지식 질문-답변 작업의 성능을 향상시킨다.
• 데이터셋은 35,141개의 고유한 개념 집합에 대해 총 77,449개의 문장을 포함하고 있으며, 관계적 및 구성적 과제에 중점을 두고 있다.
• ConceptNet에서의 한 단계 및 두 단계 관계 빈도를 분석한 결과, 많은 개념 집합이 다단계 공통지식 추론이 필요함을 확인하여 작업 난이도를 높인다.
• 수동 평가 결과, 인간이 평가한 문장은 모델의 생성 문장보다 사실성과 맥락적 일관성이 뚜렷이 높으며, 특히 주체-행동-대상 역할 처리에서 뛰어난 성능을 보인다.