[논문 리뷰] Order-Planning Neural Text Generation From Structured Data

Lei Sha, Lili Mou외 5명|arXiv (Cornell University)|2017. 09. 01.

Natural Language Processing Techniques인용 수 13

한 줄 요약

이 논문은 표에서 텍스트로의 생성에서 어휘의 유창성을 향상시키기 위해 하이브리드 콘텐츠 기반 및 링크 기반 주의 메커니즘을 사용하여 표 필드의 순서를 명시적으로 모델링하는 순서 계획 신경 텍스트 생성 모델을 제안한다. 이 모델은 DNC의 메모리 주소 지정에 영감을 받은 미분 가능한 링크 행렬을 통해 최적의 콘텐츠 순서를 학습함으로써 WikiBio에서 이전 방법들을 능가하며 BLEU, ROUGE 및 NIST 점수에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Generating texts from structured data (e.g., a table) is important for various natural language processing tasks such as question answering and dialog systems. In recent studies, researchers use neural language models and encoder-decoder frameworks for table-to-text generation. However, these neural network-based approaches do not model the order of contents during text generation. When a human writes a summary based on a given table, he or she would probably consider the content order before wording. In a biography, for example, the nationality of a person is typically mentioned before occupation in a biography. In this paper, we propose an order-planning text generation model to capture the relationship between different fields and use such relationship to make the generated text more fluent and smooth. We conducted experiments on the WikiBio dataset and achieve significantly higher performance than previous methods in terms of BLEU, ROUGE, and NIST scores.

연구 동기 및 목표

• 구조화된 데이터에서 신경 텍스트 생성 시 명시적인 콘텐츠 순서 모델링의 부족으로 인해 더 유창하고 인간다운 출력이 나오지 않는 문제를 해결하기 위해.
• 생산적 생애 기록 등에서 국적 다음에 직업이 오는 것과 같은 표 필드 간의 관계적 의존성을 모델링하여 일관된 텍스트 생성을 유도하기 위해.
• 생성 과정 중 필드 언급 순서를 결정하는 계획 메커니즘을 학습시켜 텍스트의 유창성과 일관성을 향상시키기 위해.
• 콘텐츠 기반 주의와 학습된 필드 간 전이 링크를 결합한, 미분 가능하고 엔드 투 엔드로 학습 가능한 메커니즘을 통합하기 위해.
• 계획 프레임워크에 복사 메커니즘을 통합하여 드문 또는 알려지지 않은 단어를 처리하는 데에 모델의 능력을 향상시키기 위해.

제안 방법

• 모델은 필드 이름과 콘텐츠 값 모두를 순차적 입력으로 처리하는 LSTM 기반 인코더를 사용하여 표의 구조를 캡처한다.
• 하이브리드 디스패처 메커니즘이 콘텐츠 기반 주의와 필드 간 전이 행렬에서 유도된 링크 기반 주의를 결합하여 주의를 계산한다.
• 링크 행렬은 한 필드가 다른 필드 다음에 언급될 가능성을 모델링하여 인간다운 콘텐츠 계획을 모방한다.
• 자기 적응형 게이트는 콘텐츠 기반 및 링크 기반 주의 점수의 균형을 동적으로 조정하여 다음 필드 생성을 안내한다.
• 디코더는 포인터-생성기 주의와 복사 메커니즘을 사용하는 RNN을 사용하여 드문 또는 OOV(알 수 없는 단어)를 입력 표에서 복사함으로써 처리한다.
• 모델 전체가 미분 가능하여 계획(필드 순서) 및 실현(단어 생성) 구성 요소를 함께 엔드 투 엔드로 학습할 수 있다.

실험 결과

연구 질문

• RQ1 표에서 텍스트로의 생성에서 필드 순서를 명시적으로 모델링하면 생성된 텍스트의 유창성과 일관성 향상에 기여하는가?
• RQ2 표 필드 간에 학습된 링크 행렬은 단순한 필드 임베딩에 비해 생성 품질 측면에서 어떻게 비교되는가?
• RQ3 콘텐츠 기반 주의와 링크 기반 주의를 결합하면 텍스트 생성 벤치마크에서 성능 향상에 어느 정도 영향을 미치는가?
• RQ4 복사 메커니즘의 통합이 모델이 출력에서 드문 또는 알려지지 않은 단어를 처리하는 데 능력을 향상시키는가?
• RQ5 제안된 모델의 주의 패턴은 인간다운 계획 행동을 어떻게 반영하는가?

주요 결과

• 제안된 순서 계획 모델은 WikiBio 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 이전 방법들보다 BLEU, ROUGE 및 NIST 점수에서 뛰어난 성능을 보였다.
• 아블레이션 연구를 통해 하이브리드 주의 메커니즘과 복사 메커니즘이 성능 향상에 크게 기여하는 것으로 확인되었다.
• 링크 기반 주의 메커니즘은 국적 다음에 직업이 오는 것과 같은 필드 전이 패턴을 효과적으로 학습하였다.
• 주의 점수의 시각화 결과, 모델이 입력 순서가 아닌 의미적 관계에 따라 필드를 우선순위로 정하는 것을 확인할 수 있었다.
• 모델의 성능은 다양한 생애 기록에 걸쳐 뛰어난 일관성과 사실적 정확성을 유지하며 일관되게 향상되었다.
• 자기 적응형 게이트를 갖춘 하이브리드 주의 메커니즘이 순수 콘텐츠 기반 또는 순수 링크 기반 주의 전략보다 우수한 성능을 보였다.