[논문 리뷰] Natural Language Generation in Dialogue using Lexicalized and Delexicalized Data

Shikhar Sharma, Jing He외 3명|arXiv (Cornell University)|2017. 02. 17.

Speech and dialogue systems인용 수 15

한 줄 요약

이 논문은 약어화된(슬롯-값 쌍) 및 약어화되지 않은(슬롯만) 데이터를 함께 학습하는 하이브리드 신경망 모델을 제안한다. 이는 어텐션 기반 인코더-디코더 아키텍처를 사용하며, 문장의 자연스러움과 문법적 정확성을 향상시킨다. 사전에 훈련된 문장 오토인코더로 미세조정함으로써 인간 평가를 통해 확인된 바, 더 자연스럽고 문법적으로 올바른 응답을 생성한다.

ABSTRACT

Natural language generation plays a critical role in spoken dialogue systems. We present a new approach to natural language generation for task-oriented dialogue using recurrent neural networks in an encoder-decoder framework. In contrast to previous work, our model uses both lexicalized and delexicalized components i.e. slot-value pairs for dialogue acts, with slots and corresponding values aligned together. This allows our model to learn from all available data including the slot-value pairing, rather than being restricted to delexicalized slots. We show that this helps our model generate more natural sentences with better grammar. We further improve our model’s performance by transferring weights learnt from a pretrained sentence auto-encoder. Human evaluation of our best-performing model indicates that it generates sentences which users find more appealing.

연구 동기 및 목표

• 약어화된(슬롯-값 쌍) 및 약어화되지 않은(슬롯만) 훈련 데이터를 결합하여 작업 중심 대화 시스템에서 자연어 생성 품질을 향상시키는 것.
• 이전 모델들이 단지 약어화된 슬롯에 의존함으로써 언어적 자연스러움이 떨어질 수 있는 한계를 해결하는 것.
• 슬롯-값 쌍의 공동 학습을 통해 생성된 응답의 문법적 품질과 유창성 향상시키는 것.
• 사전에 훈련된 문장 오토인코더의 가중치로 모델을 초기화함으로써 전이 학습의 이점을 탐색하는 것.
• 인간 평가를 통해 모델 성능을 평가하고, 생성된 문장의 자연스러움과 매력도를 중심으로 분석하는 것.

제안 방법

• 모델는 대화 액션에서 응답을 생성하기 위해 어텐션 메커니즘을 갖춘 인코더-디코더 아키텍처를 사용한다.
• 약어화된 데이터(슬롯-값 쌍)와 약어화되지 않은 데이터(슬롯만)를 모두 포함하여, 가용한 모든 훈련 예제에서 학습할 수 있도록 한다.
• 훈련 중에 슬롯-값 쌍이 명시적으로 정렬되어 슬롯과 그 값 간의 의미적 관계를 유지한다.
• 일반화 및 유창성 향상을 위해 사전에 훈련된 문장 오토인코더에서 미세조정된 가중치로 모델을 초기화한다.
• 인코더 및 디코더 구성 요소의 시퀀스 모델링에 순환 신경망(LSTM 또는 GRU)을 사용한다.
• 생성된 출력에 대한 교차 엔트로피 손실을 최소화함으로써 유창성과 정확성 양측을 최적화하는 훈련 목표를 설정한다.

실험 결과

연구 질문

• RQ1 약어화된 및 약어화되지 않은 데이터를 공동으로 학습함으로써 생성된 대화 응답의 유창성과 문법적 정확성이 향상되는가?
• RQ2 슬롯-값 쌍의 정렬을 통합함으로써 모델이 자연스럽게 들리는 문장을 생성하는 능력에 어떤 영향을 미치는가?
• RQ3 사전에 훈련된 문장 오토인코더에서의 전이 학습이 대화 시스템에서의 생성 품질 향상에 어느 정도 기여하는가?
• RQ4 인간 평가에서 하이브리드 데이터 접근 방식이 단지 약어화된 데이터로만 훈련된 모델보다 우수한가?
• RQ5 인간 평가자들은 제안된 모델이 생성한 응답의 자연스러움과 매력도를 베이스라인과 비교해 어떻게 평가하는가?

주요 결과

• 단지 약어화된 데이터로만 훈련된 모델에 비해, 이 모델은 더 나은 문법과 더 높은 언어적 자연스러움을 갖춘 응답을 생성한다.
• 인간 평가 결과, 최고 성능을 낸 모델이 사용자에게 더 매력적이고 자연스러운 문장을 생성함을 확인할 수 있다.
• 약어화된 데이터의 통합은 생성된 텍스트에서 슬롯-값 관계를 유지하는 데 모델의 능력을 향상시킨다.
• 사전에 훈련된 문장 오토인코더에서의 전이 학습은 응답 품질 향상에 측정 가능한 기여를 한다.
• 모델는 약어화된 데이터의 단일 접근 방식이 지닌 한계를 피하기 위해 두 유형의 훈련 데이터를 모두 활용함으로써 뛰어난 성능을 달성한다.