[논문 리뷰] Building Sequential Inference Models for End-to-End Response Selection

Jia-Chen Gu, Zhen-Hua Ling외 2명|arXiv (Cornell University)|2018. 12. 03.

Topic Modeling참고 문헌 16인용 수 6

한 줄 요약

이 논문은 개방형 대화에서 응답 선택을 위한 개선된 엔드 투 엔드 순차적 추론 모델을 제안하며, 원래의 ESIM을 개선하기 위해 과제 특화 단어 표현, 주의 기반 계층적 순환 인코더, 다차원 및 마지막 상태 풀링을 조합한 신규 풀링 전략, 그리고 마지막 문맥 발화에 대한 강조를 위한 수정 레이어를 도입한다. 이 모델은 DSTC7의 서브태스크 1에서 Ubuntu 데이터셋에서 2위, Advising 데이터셋에서 3위를 기록하였다.

ABSTRACT

This paper presents an end-to-end response selection model for Track 1 of the 7th Dialogue System Technology Challenges (DSTC7). This task focuses on selecting the correct next utterance from a set of candidates given a partial conversation. We propose an end-to-end neural network based on enhanced sequential inference model (ESIM) for this task. Our proposed model differs from the original ESIM model in the following four aspects. First, a new word representation method which combines the general pre-trained word embeddings with those estimated on the task-specific training set is adopted in order to address the challenge of out-of-vocabulary (OOV) words. Second, an attentive hierarchical recurrent encoder (AHRE) is designed which is capable to encode sentences hierarchically and generate more descriptive representations by aggregation. Third, a new pooling method which combines multi-dimensional pooling and last-state pooling is used instead of the simple combination of max pooling and average pooling in the original ESIM. Last, a modification layer is added before the softmax layer to emphasize the importance of the last utterance in the context for response selection. In the released evaluation results of DSTC7, our proposed method ranked second on the Ubuntu dataset and third on the Advising dataset in subtask 1 of Track 1.

연구 동기 및 목표

• 엔드 투 엔드 학습을 위한 ESIM 모델을 개선하여 개방형 대화에서 응답 선택을 향상시키기 위해.
• 사전 훈련된 임베딩과 과제 특화 임베딩을 조합한 하이브리드 단어 표현 전략을 통해 OOV 단어 문제를 해결하기 위해.
• 주의 기반 계층적 순환 인코더(AHRE)를 통해 더 나은 문맥 모델링을 위한 문장 표현을 향상시키기 위해.
• 표준 풀링 전략을 다차원 및 마지막 상태 풀링의 조합으로 대체하여 문맥-응답 매칭 성능을 향상시키기 위해.
• 마지막 소프트맥스 레이어 이전에 수정 레이어를 도입하여 대화 문맥에서 가장 최근 발화의 기여도를 명시적으로 강조하기 위해.

제안 방법

• OOV 문제를 줄이기 위해 일반적인 사전 훈련된 단어 임베딩과 과제 특화 훈련 데이터에 대해 미세조정된 임베딩을 조합한 하이브리드 단어 표현을 사용한다.
• 스택된 양방향 LSTM과 주의 메커니즘을 통해 단어 수준 및 발화 수준 표현을 모두 캡처하는 계층적 주의 기반 순환 인코더(AHRE)를 설계한다.
• 다양한 주의 헤드에 걸쳐 수행되는 다차원 풀링과 인코더의 최종 은닉 상태에서의 마지막 상태 풀링을 조합한 새로운 풀링 메커니즘을 통해 더 rich한 문맥-응답 매칭 특징을 생성한다.
• 마지막 소프트맥스 레이어 이전에 수정 레이어를 추가하여 점수를 재가중함으로써, 대화 문맥에서 가장 최근 발화의 기여도를 명시적으로 강조한다.
• 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련하며, 일반화 성능 향상을 위해 세 개의 독립적으로 초기화된 모델의 앙상블 평균을 적용한다.

실험 결과

연구 질문

• RQ1 하이브리드 단어 표현 전략이 응답 선택 모델에서 OOV 처리에 기여하는가?
• RQ2 주의 기반 계층적 순환 인코더는 대화 문맥 모델링에 있어 표준 RNN보다 더 나은 문장 표현을 제공하는가?
• RQ3 다차원 및 마지막 상태 풀링의 조합은 표준 최대 및 평균 풀링보다 문맥-응답 매칭에 더 효과적인가?
• RQ4 대화 문맥에서 가장 최근 발화를 명시적으로 강조함으로써 응답 선택 성능이 향상되는가?
• RQ5 제안된 구성 요소들이 다양한 대화 도메인에서 모델 일반화에 어떻게 영향을 미치는가?

주요 결과

• 제안된 모델은 DSTC7 서브태스크 1에서 Ubuntu 데이터셋에서 2위, Advising 데이터셋에서 3위를 기록하여 총 18명의 참가자보다 높은 성능을 보였다.
• 제거 실험 결과, 수정 레이어를 제거할 경우 성능이 크게 악화되어, 이 레이어가 마지막 발화 강조에 핵심적인 역할을 한다는 것이 검증되었다.
• AHRE를 단일 레이어 BiLSTM로 대체한 경우 성능 저하가 발생하여 계층적 인코딩의 유용성이 입증되었다.
• 제안된 풀링 전략은 원래 ESIM의 최대 및 평균 풀링보다 우수한 성능을 보였으며, 더 나은 매칭 표현을 제공함을 시사한다.
• 단어 임베딩을 훈련 중 고정한 경우 성능이 열악해졌으며, 이는 과제 특화 표현의 미세조정이 성능 향상에 기여함을 보여준다.
• 모델는 Ubuntu 데이터셋에서 우수한 일반화 성능를 보였으며, 테스트 성능가 개발 세트 성능를 초월하여 과적합이 낮다는 것을 시사한다.