[논문 리뷰] Step-by-Step: Separating Planning from Realization in Neural Data-to-Text Generation

Amit Moryossef, Yoav Goldberg외 1명|arXiv (Cornell University)|2019. 04. 06.

Natural Language Processing Techniques인용 수 43

한 줄 요약

데이터-투-텍스트 생성을 기호 계획과 신경적 구현으로 분할하여 신뢰성을 향상시키고 다양한 출력을 가능하게 하면서 유창성을 유지합니다.

ABSTRACT

Data-to-text generation can be conceptually divided into two parts: ordering and structuring the information (planning), and generating fluent language describing the information (realization). Modern neural generation systems conflate these two steps into a single end-to-end differentiable system. We propose to split the generation process into a symbolic text-planning stage that is faithful to the input, followed by a neural generation stage that focuses only on realization. For training a plan-to-text generator, we present a method for matching reference texts to their corresponding text plans. For inference time, we describe a method for selecting high-quality text plans for new inputs. We implement and evaluate our approach on the WebNLG benchmark. Our results demonstrate that decoupling text planning from neural realization indeed improves the system's reliability and adequacy while maintaining fluent output. We observe improvements both in BLEU scores and in manual evaluations. Another benefit of our approach is the ability to output diverse realizations of the same input, paving the way to explicit control over the generated text structure.

연구 동기 및 목표

• 신경 기반 데이터-투-텍스트 시스템에서 텍스트 기획(구조와 순서)과 실현(언어 렌더링)의 분리를 동기로 삼는다.
• 입력 RDF 트리플에 충실한 기호 계획 단계 도입.
• 참조와 일치하는 계획을 사용하여 plan-to-text 변환기를 학습하고 추론을 위한 계획 선택 메커니즘을 개발한다.
• 계획 인지 시스템이 엔드투엔드 모델과 비슷한 유창성을 달성하면서 신뢰성과 제어 가능성을 향상시킨다는 것을 입증한다.

제안 방법

• 문장 구조와 사실 순서를 나타내는 정렬된 트리 기반 계획을 출력하는 기호 텍스트 플래너를 정의한다.
• (G, ref) 쌍에 해당 계획을 주석으로 달아 계획 인지 학습 코퍼스를 만든다.
• 각 문장 계획을 엔티티에 대한 복사(copy) 메커니즘과 함께 실현하기 위해 plan-to-text 신경 번역기(NMT)를 사용한다.
• 전전위 순회(pre-order traversal)로 각 문장 계획을 선형화하고 관계를 토큰 시퀀스로 인코딩하여 NMT 입력으로 사용한다.
• 계획 속성 위에서 전문가 곱(product-of-experts) 모델로 계획 선정을 학습하여 후보 계획을 순위화한다.
• 자동 지표(BLEU, METEOR, ROUGE L, CIDEr)와 수작업 신뢰성/유창성 평가를 통해 WebNLG에서 평가한다.

실험 결과

연구 질문

• RQ1 실현과 분리된 명시적 기호 계획이 입력 사실에 대한 신뢰도를 향상시키면서 유창성을 희생하지 않을 수 있는가?
• RQ2 참조 텍스트를 해당 계획과 자동으로 정렬하여 학습 데이터를 어떻게 생성할 수 있는가?
• RQ3 계획 기반 생성이 자동 점수 경쟁력을 유지하면서 다양하고 제어 가능한 출력을 생성하는가?
• RQ4 데이터-투-텍스트 작업에서 계획 선택이 생성의 신뢰성과 품질에 미치는 영향은 무엇인가?

주요 결과

• 계획 기반 생성은 자동 지표에서 엔드 투 엔드 신경 시스템과 비슷한 유창한 출력을 생성한다.
• BestPlan은 여러 이전 WebNLG 제출보다 더 높은 BLEU 및 CIDEr 점수를 달성하고 StrongNeural과 경쟁력이 있다.
• 수작업 평가에서 BestPlan은 StrongNeural에 비해 충실성(생략, 반복, 잘못된 어휘 선택) 오류를 크게 감소시킨다.
• 상위 순위의 계획이나 임의의 고점수 계획을 사용하여 다양한 실현을 가능하게 하며 자동 지표의 하락은 제한적이다.
• 계획 실현은 계획에 충실하고 더 높은 품질의 계획은 실현에서 엔티티 범위와 순서를 더 잘 보존한다.
• 이 접근법은 계획 제약을 통한 사용자 제어형 생성을 가능하게 하고 다양한 표현 형식을 지원한다.