[논문 리뷰] Neural Text Generation: A Practical Guide

Ziang Xie|arXiv (Cornell University)|2017. 11. 27.

Topic Modeling참고 문헌 42인용 수 33

한 줄 요약

이 실용적 가이드는 재훈련 없이도 복구할 수 있는 디코딩 단계의 간 interventions을 통해 신경 텍스트 생성 모델에서 흔히 발생하는 고장, 예를 들어 반복, 잘림, 다양성 부족 등의 문제를 진단하고 해결하는 실용적인 기법을 제시한다. 재훈련이 아닌 디코딩 단계의 조치에 중점을 두며, 아키텍처에 종속되지 않는 전략, 예를 들어 커버리지 페널티, 길이 제약, 다양성 증진 디코딩 히우리스틱을 제시하여 최소한의 재훈련으로도 모델 행동을 향상시킨다.

ABSTRACT

Deep learning methods have recently achieved great empirical success on machine translation, dialogue response generation, summarization, and other text generation tasks. At a high level, the technique has been to train end-to-end neural network models consisting of an encoder model to produce a hidden representation of the source text, followed by a decoder model to generate the target. While such models have significantly fewer pieces than earlier systems, significant tuning is still required to achieve good performance. For text generation models in particular, the decoder can behave in undesired ways, such as by generating truncated or repetitive outputs, outputting bland and generic responses, or in some cases producing ungrammatical gibberish. This paper is intended as a practical guide for resolving such undesired behavior in text generation models, with the aim of helping enable real-world applications.

연구 동기 및 목표

• 재훈련이 필요 없이 신경 텍스트 생성 모델에서 병적인 행동(예: 반복적이거나 잘린 출력)을 해결하는 데 기여한다.
• 어텐션 기반 인코더-디코더 모델의 디코딩 행동을 디버깅하기 위한 체계적이고 아키텍처에 종속되지 않는 접근 방식을 제공한다.
• 재훈련보다 비용 효율적인 대안으로 오류 분석과 디코딩 시점 간섭을 강조하여 모델 출력 품질을 향상시킨다.
• 실제 운영 환경에 대비해 디코딩 속도와 신뢰성을 향상시키는 기법을 제공한다.

제안 방법

• 커버리지 페널티를 사용하여 소스 입력에 대한 완전하지 않은 어텐션을 페널티 처리하며, 이를 소스 타임스텝 전역에서 로그 최소화된 어텐션 합의 합으로 계산한다.
• 디코딩 중 길이 제약을 적용하여 타겟 시퀀스 길이가 소스 길이에서 정해진 델타 이내로 제한되도록 하여 일관성 향상을 도모한다.
• 이전 타임스텝에 대한 반복적인 어텐션을 탐지하고 어텐션 행렬을 사용하여 이를 페널티 처리함으로써 반복 행동을 억제한다.
• 온도 스케일링을 통해 소프트맥스를 조정하거나 빔 서치 디코딩 중 낮은 순위의 형제를 페널티 처리하여 출력 다양성을 증가시킨다.
• 빔 프루닝, 배치 처리, 계산 캐싱, 효율적인 계산 그래프 컴파일을 통해 디코딩 속도를 최적화한다.
• 디코딩 프로세스를 수정하지 않고도 커버리지 페널티를 사용해 최종 후보 후보들을 재순서 정렬함으로써 최종 출력 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 디코딩 단계의 간섭 조치는 어떻게 신경 텍스트 생성 모델에서 반복적이거나 잘린 출력을 줄일 수 있는가?
• RQ2 특히 대화 및 QA 작업에서 재훈련 없이도 출력 다양성을 향상시킬 수 있는 기법은 무엇인가?
• RQ3 커버리지 페널티와 길이 제약은 어떻게 어텐션 정렬과 일관성을 향상시킬 수 있는가?
• RQ4 신경 텍스트 생성에서 디코딩 행동을 진단하고 수정하기 위한 효과적인 아키텍처에 종속되지 않는 전략은 무엇인가?
• RQ5 출력 품질을 희생시키지 않고 실시간 운영 환경에서 디코딩 속도를 어떻게 향상시킬 수 있는가?

주요 결과

• 커버리지 페널티는 소스 입력에 대한 완전하지 않은 어텐션을 크게 줄여 어텐션 정렬을 향상시키고 잘림 현상을 감소시킨다.
• 소스 길이에서 정해진 델타 이내로 타겟 길이를 제한하는 길이 제약은 일관성을 향상시키고 분포를 벗어난 출력을 줄인다.
• 어텐션 행렬 분석 기반의 반복 페널티는 이미 어텐션된 타임스텝을 재어느 것을 방지함으로써 반복 출력을 효과적으로 감소시킨다.
• 빔 서치 디코딩 중 온도 스케일링과 형제 다양성 페널티는 특히 다양성이 낮은 작업(예: 대화)에서 출력 다양성을 증가시킨다.
• 빔 프루닝, 배치 처리, 계산 캐싱과 같은 디코딩 수준 최적화는 실무에서 디코딩 시간을 수개월에서 수십만 배까지 감소시킬 수 있다.
• 커버리지 페널티를 사용해 후보들을 최종적으로 재순서 정렬하면 디코딩 프로세스를 수정하지 않더라도 더 나은 최종 출력을 얻을 수 있다.