[논문 리뷰] Generating High-Quality and Informative Conversation Responses with Sequence-to-Sequence Models

Louis Yuanlong Shao, Stephan Gouws외 4명|arXiv (Cornell University)|2017. 01. 11.

Topic Modeling참고 문헌 8인용 수 21

한 줄 요약

이 논문은 시퀀스-투-시퀀스 대화 모델에서 장기적이고 일관되며 다양한 응답 생성을 향상시키기 위해 구간 모델 훈련 방식과 세그먼트 기반 확률적 빔 서치 디코딩 방법을 제안한다. 고정 길이 타겟 세그먼트로 훈련하고, 재순서 정렬을 통해 조기에 다양성을 주입함으로써, 기준 모델에 비해 훨씬 더 긴, 품질이 높은 응답을 생성한다. 인간 평가 결과, 특히 긴 출력에서 더 높은 수용성 및 뛰어남 비율을 보이며, 명시적 길이 정규화 없이도 성능 향상을 입증한다.

ABSTRACT

Sequence-to-sequence models have been applied to the conversation response generation problem where the source sequence is the conversation history and the target sequence is the response. Unlike translation, conversation responding is inherently creative. The generation of long, informative, coherent, and diverse responses remains a hard task. In this work, we focus on the single turn setting. We add self-attention to the decoder to maintain coherence in longer responses, and we propose a practical approach, called the glimpse-model, for scaling to large datasets. We introduce a stochastic beam-search algorithm with segment-by-segment reranking which lets us inject diversity earlier in the generation process. We trained on a combined data set of over 2.3B conversation messages mined from the web. In human evaluation studies, our method produces longer responses overall, with a higher proportion rated as acceptable and excellent as length increases, compared to baseline sequence-to-sequence models with explicit length-promotion. A back-off strategy produces better responses overall, in the full spectrum of lengths.

연구 동기 및 목표

• 신경 대화 모델에서 장기적이고 일관되며 다양한 응답을 생성하는 데 도전하는 문제를 해결하기 위해.
• 훈련 효율성이나 응답 품질을 훼손하지 않고 23억 개 이상의 메시지를 포함한 대규모 대화 데이터셋에 대해 시퀀스-투-시퀀스 모델을 확장하기 위해.
• 디코딩 과정을 수정하여 다양성을 생성 초기에 주입함으로써 응답의 다양성과 일관성을 향상시키기 위해.
• 다양한 장기형 응답 생성과 견고한 단기 응답 생성의 장점을 결합한 백오프 전략을 개발하여 최적의 종합 성능을 달성하기 위해.

제안 방법

• 고정 길이 타겟 시퀀스 세그먼트로 훈련하는 구간 모델을 도입하여 대규모 데이터셋에 대한 효율적 확장을 가능하게 한다.
• 더 긴 생성 응답에서 일관성을 유지하기 위해 디코더에서 자체 어텐션을 활용한다.
• 재순서 정렬을 통한 세그먼트 단위의 확률적 빔 서치 디코딩을 제안하여 생성 과정의 초기 단계에서 다양성을 주입한다.
• 응답 길이가 40자 미만일 경우 표준 빔 서치(길이 정규화 없음)로 전환하는 백오프 전략을 사용하여 두 방법의 장점을 결합한다.
• 대규모 웹에서 수집한 대화 데이터(23억 개 메시지)를 활용해 훈련하여 다양한 대화 패턴으로의 일반화를 가능하게 한다.
• 공정한 비교를 위해 기준 모델에 길이 정규화를 적용하지만, 제안된 방법은 명시적 길이 촉진 목표를 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 고정 길이 타겟 훈련(구간 모델)이 매우 대규모 대화 데이터셋에 대해 효율적인 확장을 가능하게 하며, 응답 품질을 유지하거나 향상시킬 수 있는가?
• RQ2 재순서 정렬을 통한 세그먼트 단위의 확률적 빔 서치가 길이 정규화가 적용된 표준 빔 서치에 비해 응답의 다양성과 일관성을 향상시키는가?
• RQ3 다양한 장기형 응답 생성과 견고한 단기 응답 생성의 장점을 결합한 백오프 전략이 개별 방법보다 종합적인 응답 품질을 향상시킬 수 있는가?
• RQ4 응답 길이가 인간이 평가하는 품질에 영향을 미치는가? 그리고 제안된 방법이 기준 모델이 실패하는 긴 길이에서도 높은 평가를 유지할 수 있는가?

주요 결과

• 제안된 방법은 평균적으로 훨씬 더 긴 응답을 생성하며, 응답의 1/3 이상이 100자 이상을 차지하는 반면, 기준 모델에서는 극히 소수에 그친다.
• 인간 평가 결과, 제안된 방법은 응답 길이가 증가함에 따라 수용 가능 및 뛰어남 비율이 안정되거나 증가하는 반면, 기준 모델은 급격히 감소한다.
• 두 방법을 결합한 백오프 전략은 개별 방법보다 더 많은 뛰어남, 양호, 수용 가능, 평균 수준의 평가를 받고, 나쁜 평가 비율은 더 낮게 유지된다.
• 쌍대 인간 선호 테스트에서 제안된 모델은 180개의 응답 쌍 중 103개에서 기준 모델보다 더 선호되었으며, 통계적으로 유의미한 향상임을 시사한다.
• 10자 타겟 세그먼트로만 훈련했음에도 불구하고, 초기 훈련 단계에서 기준 모델보다 뛰어난 성능을 보이며, 타겟 측 어텐션 덕분에 더 나은 일반화 능력을 보임을 시사한다.
• 명시적 길이 촉진 목표 없이도 더 높은 품질의 응답을 생성하며, 개선된 디코딩 및 훈련 전략이 이러한 정규화의 부재를 상쇄할 수 있음을 입증한다.