[논문 리뷰] Hierarchical Text Generation using an Outline

Mehdi Drissi, Olivia Watkins외 1명|arXiv (Cornell University)|2018. 10. 20.

Topic Modeling참고 문헌 2인용 수 8

한 줄 요약

이 논문은 추출적 요약을 통해 개요를 먼저 생성한 다음, 전체 기사 생성을 그 개요에 조건화하는 계층적 텍스트 생성 프레임워크를 제안한다. 비록 이 접근 방식이 퍼플렉서티를 크게 향상시키지만, 인간 평가 품질에는 향상되지 않아, 텍스트 생성 평가에서 자동화된 지표와 인간 인식 간의 핵심 괴리를 드러낸다.

ABSTRACT

Many challenges in natural language processing require generating text, including language translation, dialogue generation, and speech recognition. For all of these problems, text generation becomes more difficult as the text becomes longer. Current language models often struggle to keep track of coherence for long pieces of text. Here, we attempt to have the model construct and use an outline of the text it generates to keep it focused. We find that the usage of an outline improves perplexity. We do not find that using the outline improves human evaluation over a simpler baseline, revealing a discrepancy in perplexity and human perception. Similarly, hierarchical generation is not found to improve human evaluation scores.

연구 동기 및 목표

• 장문 텍스트 생성에서 일관성을 유지하는 데 도전하기 위해 개요를 포함한 계층적 접근을 도입하기 위해.
• 기본 순차적 생성 모델과 비교해 개요 사용이 생성 텍스트의 품질과 일관성에 기여하는지 조사하기 위해.
• 자동 지표(예: 퍼플렉서티)와 인간 평가 간의 격차를 텍스트 생성 품질 평가에서 평가하기 위해.
• 장문 텍스트 생성을 위한 구조적 개요를 생성하기 위해 추출적 요약을 사용하는 것의 가능성과 한계를 탐색하기 위해.

제안 방법

• 모델은 두 단계 생성 과정을 사용한다: 먼저 추출적 요약을 통해 간결한 개요를 생성하고, 그 다음 개요에 조건화된 전체 기사 생성을 수행한다.
• 개요는 대상 텍스트에 간단한 추출적 요약 방법을 적용하여 생성되며, 이는 구조적 기초로 기능한다.
• 계층적 어텐션을 갖춘 시퀀스-투-시퀀스 모델을 사용하여 개요 임베딩에 조건화된 전체 기사 생성을 수행한다.
• 모델은 단어 수준 및 문장 수준 표현을 동시에 고려하는 어텐션 메커니즘을 활용하여 맥락 유지 능력을 향상시킨다.
• 퍼플렉서티는 주로 생성 품질 평가를 위한 자동 지표로 사용되며, 인간 평가는 유창성과 일관성 평가를 위해 사용된다.
• 모델은 두 데이터셋에서 평가되었으며, 아블레이션 연구를 통해 개요 유무에 따른 계층적 생성 방식을 비교했다.

실험 결과

연구 질문

• RQ1 개요를 사용한 계층적 텍스트 생성이 퍼플렉서티와 같은 자동 평가 지표를 향상시키는가?
• RQ2 개요 사용이 일관성과 유창성 측면에서 인간 평가 품질을 향상시키는가?
• RQ3 개요 생성 모듈이 저품질 또는 비일관성 있는 개요를 생성했을 경우, 계층적 모델의 주요 실패 원인은 무엇인가?
• RQ4 장문 텍스트 생성 작업에서 계층적 어텐션은 표준 어텐션보다 우수한가?
• RQ5 모델이 개요에 얼마나 의존하는가에 따라 다양하고 정확한 콘텐츠 생성 능력에 어떤 영향을 미치는가?

주요 결과

• 개요 조건화가 적용된 계층적 모델은 퍼플렉서티를 크게 향상시켜 언어 모델링 성능 향상을 시사한다.
• 퍼플렉서티 향상에도 불구하고 인간 평가 점수는 향상되지 않아, 자동 지표와 인간 인식 간의 괴리를 드러낸다.
• 개요 생성 모듈이 저품질 또는 비일관성 있는 개요를 생성했을 경우, 주요 실패 원인이 관찰되었으며, 이는 주 모델이 이를 악성으로 확대함에 따라 발생했다.
• 모델은 개별 문장은 국소적으로 유창하더라도, 생성된 기사의 끝부분으로 갈수록 반복과 중복이 증가하는 경향을 보였다.
• 계층적 어텐션은 두 데이터셋 전반에서 퍼플렉서티에 소량이지만 측정 가능한 향상을 제공했으며, 이는 이전 연구에서 일관된 성과를 보이지 않았던 것과 대조된다.
• 본 연구는 현재의 자동 지표인 퍼플렉서티가 인간 평가 품질을 신뢰할 수 있게 예측하지 못할 수 있음을 시사하며, 텍스트 생성 분야에서 보다 나은 평가 지표 개발의 필요성을 강조한다.