[논문 리뷰] Data-to-Text Generation with Style Imitation

Shuai Lin, Wentao Wang외 5명|arXiv (Cornell University)|2019. 01. 28.

Topic Modeling참고 문헌 55인용 수 7

한 줄 요약

이 논문은 '소프트' 템플릿을 사용하여 주어진 예시 문장의 글쓰기 스타일을 모방하는 신경망 기반의 데이터 텍스트 생성 방법을 제안한다. 이는 고정된 템플릿 제약 조건을 피함으로써 더 유연한 생성을 가능하게 한다. 약한 지도 학습과 함께 하이브리드 어텐션-복사 메커니즘 및 콘텐츠 커버리지 제약 조건을 결합함으로써, 모델은 높은 콘텐츠 충실도와 스타일 제어 능력을 확보하며, 레스토랑 및 스포츠 분야에서 자동 평가와 인간 평가 모두에서 베이스라인을 능가한다.

ABSTRACT

Recent neural approaches to data-to-text generation have mostly focused on improving content fidelity while lacking explicit control over writing styles (e.g., word choices, sentence structures). More traditional systems use templates to determine the realization of text. Yet manual or automatic construction of high-quality templates is difficult, and a template acting as hard constraints could harm content fidelity when it does not match the record perfectly. We study a new way of stylistic control by using existing sentences as soft templates. That is, the model learns to imitate the writing style of any given exemplar sentence, with automatic adaptions to faithfully describe the content record. The problem is challenging due to the lack of parallel data. We develop a neural approach that includes a hybrid attention-copy mechanism, learns with weak supervisions, and is enhanced with a new content coverage constraint. We conduct experiments in restaurants and sports domains. Results show our approach achieves stronger performance than a range of comparison methods. Our approach balances well between content fidelity and style control given exemplars that match the records to varying degrees.

연구 동기 및 목표

• 신경망 기반 데이터 텍스트 생성에서 세밀한 스타일 제어가 부족한 문제를 해결하기 위해, 단어 선택이나 문장 구조와 같은 특정 글쓰기 스타일을 모방하지 못하는 모델의 문제를 해결한다.
• 기존의 하드 템플릿의 한계를 극복하기 위해, 수동으로 생성이 필요하고 콘텐츠가 일치하지 않을 경우 유연성이 떨어지는 문제를 해결한다.
• 입력 데이터 레코드와 완벽하게 일치하지 않는 임의의 예시 문장을 '소프트' 템플릿으로 사용하여 스타일 모방을 가능하게 한다.
• 병렬 (레코드, 예시, 타겟) 훈련 데이터가 필요 없이도 콘텐츠 충실도와 스타일 구현을 균형 있게 유지하는 방법을 개발한다.
• 완전히 병렬된 데이터가 아닌, 풍부한 레코드-기본 설명 쌍에서 유도된 약한 지도 신호를 통해 학습함으로써 생성 품질을 향상시킨다.

제안 방법

• 모델은 데이터 레코드의 콘텐츠와 예시 문장의 스타일을 별도로 주의를 기울여 처리할 수 있도록 하이브리드 어텐션-복사 메커니즘을 사용한다. 이는 사실 정보와 스타일 패턴을 구분하여 처리할 수 있도록 한다.
• 레코드-기본 설명 쌍만을 사용하여 약한 지도 학습을 수행하며, 레코드와 그 참조 설명 간의 정렬을 기반으로 지도 신호를 유도한다.
• 데이터 레코드의 핵심 콘텐츠 슬롯이 생성된 텍스트에 명시적으로 포함되도록 보장하기 위해 새로운 콘텐츠 커버리지 제약 조건을 도입한다. 이는 충실도를 향상시킨다.
• 에ncoder-디코더 아키텍처에 복사 메커니즘을 통합하여, 예시 문장의 구절을 선택적으로 복사하면서도 레코드의 콘텐츠에 맞게 적응시킬 수 있도록 한다.
• 어텐션 기반 지도 신호를 사용하여 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 훈련되며, 어텐션 가중치는 콘텐츠 커버리지 제약 조건에 의해 유도된다.
• LSTM과 Transformer 아키텍처를 모두 평가하였으며, 복사 메커니즘이 더 강한 LSTM 버전이 약간 더 높은 성능을 보였다.

실험 결과

연구 질문

• RQ1 하드 템플릿이나 병렬 (레코드, 예시, 타겟) 데이터에 의존하지 않고도 신경망 모델이 주어진 예시 문장의 글쓰기 스타일을 효과적으로 모방할 수 있는가?
• RQ2 예시 문장이 데이터 레코드와 완벽하게 일치하지 않을 경우, 모델이 콘텐츠 충실도와 스타일 모방을 얼마나 잘 균형 있게 유지할 수 있는가?
• RQ3 콘텐츠 커버리지 제약 조건이 생성 과정에서 콘텐츠 커버리지와 스타일 유지에 어떤 영향을 미치는가?
• RQ4 하이브리드 어텐션-복사 메커니즘이 스타일과 콘텐츠를 동시에 처리할 때 표준 어텐션 또는 복사 메커니즘보다 어떻게 비교되는가?
• RQ5 병렬 (레코드, 예시, 타겟) 삼중조가 없는 상황에서, 레코드-기본 설명 쌍에서 파생된 약한 지도 신호가 스타일 모방에 얼마나 효과적인가?

주요 결과

• NBA 데이터셋에서, 제안된 모델은 슬롯 채우기 베이스라인 대비 콘텐츠 정밀도 16.3점, 콘텐츠 %Excl.-old 12.9점 향상되었으며, 스타일 m-BLEU 점수는 80 이상을 유지했다.
• 레스토랑 데이터셋에서는 콘텐츠 충실도와 스타일 구현 간 최적의 균형을 달성하여, 인간 평가에서 50% 이상의 선호도 승리를 기록하며 모든 베이스라인을 능가했다.
• 콘텐츠 커버리지 제약 조건은 두 데이터셋 모두에서 콘텐츠 및 스타일 성능을 일관되게 향상시켜, 생성을 이끄는 데 효과적임을 입증했다.
• 모델은 예시 문장과 레코드 간의 일치 정도가 다양할 경우에도 안정된 성능을 유지하여, 다양한 수준의 예시-레코드 일치도에 대한 강건성을 보였다.
• 인간 평가 결과, 모델은 콘텐츠 충실도 점수(5점 만점에 4.2점), 유창성(4.1점), 스타일 구현도(4.0점)에서 가장 높은 점수를 기록하였으며, 다음으로 높은 성능을 보인 방법과는 뚜렷한 격차를 보였다.