[논문 리뷰] Schema-Guided Natural Language Generation

Yuheng Du, Shereen Oraby외 6명|arXiv (Cornell University)|2020. 05. 11.

Topic Modeling참고 문헌 29인용 수 4

한 줄 요약

이 논문은 간단한 슬롯-값 의미 표현(MR) 대신 의도 및 슬롯 설명을 포함한 풍부하고 맥락적인 스키마를 활용함으로써 신경망 텍스트 생성을 향상시키는 새로운 과제인 스키마 가이드드 자연어 생성(SG-NLG)을 소개한다. 재사용된 DSTC8 데이터셋을 사용하여 저자들은 스키마 정보를 활용해 훈련된 모델이 더 높은 품질, 더 높은 다양성, 더 정확한 의미적 표현을 가진 출력을 생성하는 것으로 보여주었으며, GPT-2는 인간 평가에서 최고 점수인 3.61/5를 기록했고, 본문에 등장한 도메인과 새로운 도메인 모두에서 일반화 능력이 향상되었다.

ABSTRACT

Neural network based approaches to data-to-text natural language generation (NLG) have gained popularity in recent years, with the goal of generating a natural language prompt that accurately realizes an input meaning representation. To facilitate the training of neural network models, researchers created large datasets of paired utterances and their meaning representations. However, the creation of such datasets is an arduous task and they mostly consist of simple meaning representations composed of slot and value tokens to be realized. These representations do not include any contextual information that an NLG system can use when trying to generalize, such as domain information and descriptions of slots and values. In this paper, we present the novel task of Schema-Guided Natural Language Generation (SG-NLG). Here, the goal is still to generate a natural language prompt, but in SG-NLG, the input MRs are paired with rich schemata providing contextual information. To generate a dataset for SG-NLG we re-purpose an existing dataset for another task: dialog state tracking, which includes a large and rich schema spanning multiple different attributes, including information about the domain, user intent, and slot descriptions. We train different state-of-the-art models for neural natural language generation on this dataset and show that in many cases, including rich schema information allows our models to produce higher quality outputs both in terms of semantics and diversity. We also conduct experiments comparing model performance on seen versus unseen domains, and present a human evaluation demonstrating high ratings for overall output quality.

연구 동기 및 목표

• 기존의 신경망 NLG 데이터셋이 맥락적 또는 도메인 수준의 정보 없이 기본적인 슬롯-값 의미 표현만을 사용하는 데서 비롯되는 한계를 해결하기 위해.
• 의도 설명, 슬롯 유형, 도메인 맥락과 같은 풍부한 스키마 정보를 통합하여 데이터 기반 텍스트 생성의 일반화 능력과 출력 품질을 향상시키기 위해.
• 스키마 가이드드 생성이 본문에 등장한 도메인과 새로운 도메인 모두에서 더 나은 성능을 내는지, 특히 제로샷 또는 희소한 샘플 설정에서 어떻게 작용하는지 조사하기 위해.
• 세부적인 스키마 주석이 추가된 대화 상태 추적 데이터를 재사용하여 SG-NLG를 위한 새로운 데이터셋을 개발하고 평가하기 위해.
• 스키마 가이드드 생성 환경에서 최신 기술 모델(Sequence-to-Sequence, CVAE, GPT-2)을 비교하고 의미적 정확성, 유창성, 다양성 측면에서 각 모델의 강점을 평가하기 위해.

제안 방법

• 저자들은 의도 설명, 슬롯 설명, 도메인 정보, 표면 어휘를 포함한 풍부한 스키마를 갖춘 DSTC8 대화 상태 추적 데이터셋을 재사용하여 새로운 데이터셋을 구축하였다.
• 생성 모델의 입력은 화자, 대화 액션, 슬롯, 값, 그리고 'CUISINE: "레스토랑에서 제공하는 음식의 요리 종류"'와 같은 기술적 메타데이터를 포함한 터닝 수준의 스키마이다.
• Sequence-to-Sequence(SEQ2SEQ), 조건부 변동형 오토인코더(CVAE), GPT-2의 세 가지 최신 기술 모델을 SG-NLG 데이터셋에 피팅하여 스키마에서 탈디지털라이즈된 시스템 프롬프트를 생성하도록 훈련시켰다.
• 자동 평가 지표(BLEU, METEOR, SER), 다양성(빅램 어휘 크기), 그리고 의미, 문법, 자연스러움, 총합 품질을 평가하는 인간 평가를 통해 모델을 평가하였다.
• 모델이 본 적 없는 도메인에서 테스트하여 제로샷 평가를 수행함으로써 일반화 능력을 평가하였다.
• 제약 조건이 있는 디코딩과 스키마 통합을 통해 생성 과정을 정확한 내용 실현 방향으로 이끌었으며, 동시에 자연스러움을 유지하였다.

실험 결과

연구 질문

• RQ1 의도 및 슬롯 설명과 같은 풍부한 스키마 정보를 통합함으로써 신경망 텍스트 생성 모델의 의미 정확성과 유창성을 향상시킬 수 있는가?
• RQ2 스키마 가이드드 생성은 본문에 등장한 도메인과 새로운 도메인 간의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 스키마 풍부한 데이터에서 훈련된 경우, 다양한 신경망 생성 아키텍처(SEQ2SEQ, CVAE, GPT-2)가 각각 다른 강점을 보이는가?
• RQ4 기존의 MR 기반 생성 방식에 비해 스키마 가이드드 생성이 출력의 다양성 향상과 의미 오류 감소에 얼마나 기여하는가?
• RQ5 인간 평가를 통해 스키마 가이드드 출력이 기존의 MR 기반 모델의 출력보다 더 높은 품질로 인식되는가?

주요 결과

• GPT-2는 인간 평가에서 최고 점수인 3.61점(만점 5점)을 기록하여 기준 품질(3.97점)에 매우 가까이 도달했으며, 이는 전체적인 출력 품질이 매우 우수함을 시사한다.
• 풍부한 스키마 정보의 사용으로 의미 정확도가 향상되었으며, 평가된 모델들 중에서 가장 낮은 평균 의미 오류 비율(SER)인 0.18을 기록했다.
• GPT-2는 가장 높은 다양성을 보였으며, 2.6K의 빅램 어휘 크기를 기록하여 SEQ2SEQ와 CVAE를 크게 앞섰다.
• 스키마 가이드드 훈련을 사용할 경우 BLEU 점수는 최대 0.43, METEOR 점수는 최대 0.61 향상되어 기준 텍스트와의 유사도가 높아짐을 나타냈다.
• CVAE 모델은 자연스럽고 유창한 출력을 생성했지만, 가장 높은 SER(0.32)를 기록하여 높은 유창성에도 불구하고 빈번한 의미 오류가 존재함을 보여주었다.
• 스키마 가이드드 데이터로 훈련된 모델들은 새로운 도메인으로의 일반화 능력이 뛰어나 제로샷 또는 희소한 샘플 환경에서의 적응 가능성을 보여주었다.