[논문 리뷰] Pragmatically Informative Text Generation

Sheng Shen, Daniel Fried외 2명|arXiv (Cornell University)|2019. 04. 02.

Topic Modeling참고 문헌 34인용 수 8

한 줄 요약

이 논문은 강력한 신경망 텍스트 생성 모델에서 흔히 발생하는 핵심 입력 속성 누락 문제를 해결하기 위해 계산적 담론의 개념을 도입하여 정보성 향상을 도모한다. 입력을 고유하게 식별할 수 있도록 화자-청자 상호작용을 게임으로 모델링하며, 재구성 기반 및 방해 요소 기반의 두 가지 담론적 방법을 제안한다. 추상적 요약 및 의미-텍스트 생성 작업에서 커버리지와 자동 평가 지표에서 뚜렷한 향상을 보이며, 기존 최고 성능 기록을 갱신하였고, ROUGE 지표에서 0.2–0.5 포인트, BLEU 지표에서 2 포인트 향상되었다.

ABSTRACT

We improve the informativeness of models for conditional text generation using techniques from computational pragmatics. These techniques formulate language production as a game between speakers and listeners, in which a speaker should generate output text that a listener can use to correctly identify the original input that the text describes. While such approaches are widely used in cognitive science and grounded language learning, they have received less attention for more standard language generation tasks. We consider two pragmatic modeling methods for text generation: one where pragmatics is imposed by information preservation, and another where pragmatics is imposed by explicit modeling of distractors. We find that these methods improve the performance of strong existing systems for abstractive summarization and generation from structured meaning representations.

연구 동기 및 목표

• 강력한 신경망 텍스트 생성 모델에서 입력 속성의 핵심 정보가 누락되는 문제를 해결하기 위해, 훈련 과정에서 완전한 입력을 제공받음에도 불구하고 이러한 정보를 생략하는 경향이 있는 모델의 정보 부족 문제를 해결하고자 한다.
• 기존에 지상 기반 언어 학습에 사용된 계산적 담론을, 요약 및 의미-텍스트 생성과 같은 지상 기반 외의 구조화된 텍스트 생성 작업으로 확장하고자 한다.
• 특수 작업용 아키텍처 변경 없이도 담론 모델링이 콘텐츠 커버리지 및 생성 품질 향상에 기여할 수 있는지 평가하고자 한다.
• 입력 재구성 기반과 방해 요소 식별 기반의 두 가지 담론적 접근법 간 성능 및 내성적 안정성 측면에서 비교하고자 한다.

제안 방법

• 청자가 입력 의미 표현을 재구성할 수 있는 능력을 기반으로 출력을 선택하는 화자 모델을 구현하며, 후보 출력의 점수를 평가하기 위해 학습된 재구성 모델을 사용한다.
• 방해 요소 기반 접근법을 사용하여, 화자는 진짜 입력을 타당한 대체 입력들(부정 예시로 모델링됨)과 구별할 수 있도록 텍스트를 생성한다.
• 기존의 사전 훈련된 시퀀스-투-시퀀스 모델($S_0$) 위에서 디코딩 단계에서의 재정렬 전략으로 두 방법을 적용하며, 기초 모델의 미세조정 없이도 적용한다.
• 합리적 언어 행위(Rational Speech Acts, RSA)에 영감을 받은 게임 이론 프레임워크를 활용하여, 화자는 후보 집합에서 정확한 입력을 식별할 수 있도록 청자 정확도를 최적화한다.
• 정보성의 대체 지표로 커버리지 비율을 사용하며, 입력 속성과 생성된 텍스트 간 정확한 일치 빈도를 측정한다.
• 표준 평가 지표인 ROUGE(요약 작업용) 및 BLEU(E2E 생성 작업용)를 사용하여 성능을 평가하며, 방해 요소의 속성 마스킹에 대한 분석도 함께 수행한다.

실험 결과

연구 질문

• RQ1 담론 모델링이 일반적으로 정보 부족 현상이 발생하는 신경망 텍스트 생성 모델의 정보성 향상에 기여할 수 있는가?
• RQ2 방해 요소 기반 담론 접근법이 재구성 기반 접근법보다 더 완전하고 정확한 출력을 생성하는 데서 뛰어난 성능을 보일 수 있는가?
• RQ3 두 가지 담론적 방법이 의미 표현 및 요약 작업에서 다양한 종류의 입력 속성에 대해 커버리지 비율에 어떤 영향을 미치는가?
• RQ4 기초 모델의 아키텍처를 변경하지 않고도 담론 디코딩이 자동 평가 지표(예: ROUGE, BLEU) 향상에 얼마나 기여하는가?

주요 결과

• 담론 모델은 속성 커버리지에 뚜렷한 향상을 보였으며, 특히 방해 요소 기반 방법($S_1^D$)이 기초 모델($S_0$) 대비 대부분의 속성에 대해 커버리지 비율을 높였다.
• 방해 요소 기반 방법은 E2E 생성 데이터셋에서 2 BLEU 포인트 향상되었고, CNN/Daily Mail 요약 작업에서는 ROUGE 지표에서 0.2–0.5 포인트 향상되어 기초 모델을 초월하며 새로운 최고 성능을 기록했다.
• 재구성 기반 방법($S_1^R$)은 모든 속성에 대해 커버리지가 증가하였으며, 이는 재구성 기반 점수 평가가 입력 콘텐츠의 언급을 효과적으로 유도함을 시사한다.
• 방해 요소의 의미 표현(MR)에서 특정 속성을 마스킹하면 그 속성에 대해 가장 높은 커버리지가 달성되었으며, 이는 모델이 차별화에 가장 관련성이 높은 속성에 주목하는 것을 의미한다.
• 방해 요소 기반 방법이 다양한 지표에서 더 뛰어난 성능을 보이며, 타당한 대안들에 대한 명시적 식별이 재구성만으로는 부족함을 시사한다.
• 두 방법 모두 강력한 기초 모델의 정보 부족 문제를 완화시켰으며, 재학습 없이도 담론 디코딩이 생성 네트워크 성능 향상에 기여할 수 있음을 입증한다.