[논문 리뷰] Two Birds, One Stone: A Simple, Unified Model for Text Generation from Structured and Unstructured Data

Hamidreza Shahidi, Ming Li외 1명|arXiv (Cornell University)|2019. 09. 23.

Topic Modeling참고 문헌 39인용 수 4

한 줄 요약

이 논문은 구조화된(표) 및 비구조화된(문장 조각) 데이터로부터 텍스트를 생성하기 위해 지수이동평균(EMA)을 사용하여 훈련하는 주의 메커니즘과 복사 메커니즘을 갖춘 단순하고 통합된 시퀀스-투-시퀀스 모델을 제안한다. 비록 모델이 단순하지만, 신경망 표 텍스트 생성 및 신경 질문 생성 작업 모두에서 최신 기술 수준(SOTA) 성능을 달성하며, 모델이 철저히 튜닝된다면 아키텍처의 복잡성이 높은 것이 반드시 성능 향상에 필수적인 것은 아님을 보여준다.

ABSTRACT

A number of researchers have recently questioned the necessity of increasingly complex neural network (NN) architectures. In particular, several recent papers have shown that simpler, properly tuned models are at least competitive across several NLP tasks. In this work, we show that this is also the case for text generation from structured and unstructured data. We consider neural table-to-text generation and neural question generation (NQG) tasks for text generation from structured and unstructured data, respectively. Table-to-text generation aims to generate a description based on a given table, and NQG is the task of generating a question from a given passage where the generated question can be answered by a certain sub-span of the passage using NN models. Experimental results demonstrate that a basic attention-based seq2seq model trained with the exponential moving average technique achieves the state of the art in both tasks. Code is available at https://github.com/h-shahidi/2birds-gen.

연구 동기 및 목표

• 구조화된 및 비구조화된 데이터로부터의 텍스트 생성에 있어 점점 더 복잡한 신경망 아키텍처가 진정으로 필요한가를 조사하기 위해.
• 단순하고 철저히 튜닝된 모델이 텍스트 생성 작업에서 복잡한 모델을 능가하거나 동등하게 성능을 낼 수 있는가 평가하기 위해.
• 표(구조화된)와 문장 조각(비구조화됨)으로부터의 텍스트 생성을 동일한 모델 아키텍처 아래 통합하기 위해.
• 복잡한 모델의 성능 향상 요인이 아키텍처 혁신이 아니라 하이퍼파라미터 튜닝에 기인할 수 있음을 보여주기 위해.
• NLP 분야에서의 아키텍처 복잡성 추세를 도전하기 위해, 단순한 모델에 EMA를 적용하면 최신 기술 수준 결과를 달성할 수 있음을 보여주기 위해.

제안 방법

• 두 작업 모두의 핵심 아키텍처로 양방향 주의 기반 시퀀스-투-시퀀스 모델을 사용한다.
• 특히 엔티티 이름과 희귀어 처리에 유용한 OOV(어휘 외 단어) 처리를 위해 복사 메커니즘을 통합한다.
• 학습 중에 지수이동평균(EMA)을 적용하여 모델 가중치를 안정화하고 일반화 능력을 향상시킨다.
• 구조화된 표 데이터를 표현하기 위해 필드 및 위치 임베딩을 단어 임베딩에 연결한다.
• 두 작업 모두에서 디코딩 시 빔 크기가 20이고 길이 페널티가 1.75인 빔 서치를 사용한다.
• 드롭아웃(다른 분할에 대해 각각 0.1과 0.3)을 사용하여 최대 20 에포크 동안 훈련하며, Song 등(2018)의 공통 어휘를 사용한다.

실험 결과

연구 질문

• RQ1 단순하고 통합된 신경 시퀀스-투-시퀀스 모델이 표 텍스트 생성 및 질문 생성 작업 모두에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?
• RQ2 아키텍처 복잡성 없이도 지수이동평균(EMA)의 사용이 이 작업들에서 성능을 크게 향상시키는가?
• RQ3 NLP에서 복잡한 모델의 성능 향상 요인이 주로 아키텍처 설계 때문인지, 아니면 단순한 모델의 더 나은 하이퍼파라미터 튜닝 때문인가?
• RQ4 명시적인 언어학적 특징이나 작업 전용 모듈이 없는 모델도 구조화된 및 비구조화된 데이터로부터의 텍스트 생성에서 최신 기술 수준 결과를 달성할 수 있는가?
• RQ5 최근 모델에서의 아키텍처 혁신이 기본 모델의 철저한 튜닝에 비해 미미한 성능 향상만 제공하는가?

주요 결과

• 제안된 단순한 시퀀스-투-시퀀스 모델에 EMA를 적용한 결과, 신경 질문 생성(NQG) 작업에서 SQuAD 데이터셋에서 ROUGE-L 점수 45.18 ± 0.22(분할-2)로 최신 기술 수준(SOTA) 성능을 달성하였다.
• 표 텍스트 생성 작업에서의 WikiBio 데이터셋에서 EMA를 사용할 경우, BLEU-4 점수는 46.76 ± 0.03, ROUGE-4 점수는 43.54 ± 0.07을 기록하였다.
• 특수 작업 모듈 없이도 더 단순한 아키텍처를 사용함에도 불구하고, Liu 등(2019b) 및 Kim 등(2019)의 이전 복잡한 모델들을 능가하는 성능을 보였다.
• EMA 기법이 성능 향상에 크게 기여하였으며, NQG에서 ROUGE-L 점수 1.36점 향상, 표 텍스트 생성에서 BLEU-4 점수 0.69점 향상이 이루어졌다.
• SQuAD 분할-2에서 BLEU-4(16.14 ± 0.25) 및 METEOR(20.44 ± 0.20)에서도 경쟁력 있는 성능을 기록하였으며, 대부분의 이전 연구를 능가하였다.
• 결과적으로 아키텍처의 복잡성이 최신 기술 수준 성능을 내기 위한 필수 조건은 아니며, 단순한 모델의 철저한 튜닝이 뛰어난 성능을 낼 수 있음을 시사한다.