[논문 리뷰] Learning to Start for Sequence to Sequence Architecture

Qingfu Zhu, Weinan Zhang외 2명|arXiv (Cornell University)|2016. 08. 19.

Topic Modeling참고 문헌 24인용 수 9

한 줄 요약

이 논문은 시퀀스-투-시퀀스 모델을 위한 학습 가능한 첫 번째 단어 생성 메커니즘을 제안하며, 고정된 시작 기호를 문맥에 민감한 어휘 상의 확률 분포로 대체한다. 인코더 상태와 단어 임베딩을 활용하여 응답 생성 품질을 향상시키며, 짧은 텍스트 대화 작업에서 자동 평가 및 인간 평가 모두에서 최신 기준 성능을 달성한다.

ABSTRACT

The sequence to sequence architecture is widely used in the response generation and neural machine translation to model the potential relationship between two sentences. It typically consists of two parts: an encoder that reads from the source sentence and a decoder that generates the target sentence word by word according to the encoder's output and the last generated word. However, it faces to the cold start problem when generating the first word as there is no previous word to refer. Existing work mainly use a special start symbol to generate the first word. An obvious drawback of these work is that there is not a learnable relationship between words and the start symbol. Furthermore, it may lead to the error accumulation for decoding when the first word is incorrectly generated. In this paper, we proposed a novel approach to learning to generate the first word in the sequence to sequence architecture rather than using the start symbol. Experimental results on the task of response generation of short text conversation show that the proposed approach outperforms the state-of-the-art approach in both of the automatic and manual evaluations.

연구 동기 및 목표

• 첫 번째 단어가 이전 토큰이 없어 조건화되지 않는 '콜드 스타트' 문제를 해결하기 위해.
• 목표 단어와의 조건부 관계를 학습하지 못하는 고정된 시작 기호 ($<$ /s $>$) 의 제한을 극복하기 위해.
• 원천 문맥과 단어 표현에서 직접 첫 번째 단어를 예측함으로써 생성 품질을 향상시키고 오류 전파를 줄이기 위해.
• 대화 생성 외의 다른 시퀀스-투-시퀀스 작업에도 적용 가능한 일반화 가능한 프레임워크를 개발하기 위해.

제안 방법

• 표준 시작 기호를 인코더의 최종 은닉 상태를 기반으로 첫 번째 단어를 예측하는 학습 가능한 메커니즘으로 대체한다.
• 인코더의 최종 상태와 각 단어 임베딩 간의 호환성 점수를 계산하여 어휘 상의 확률 분포를 구성한다.
• 인코더의 최종 은닉 상태를 어휘 테이블 상의 분포로 매핑하는 매개변수화된 함수를 사용하며, 가장 높은 점수를 가진 단어를 첫 번째 출력으로 선택한다.
• 이러한 첫 번째 단어 예측을 표준 디코더 아키텍처에 통합하여 교차 엔트로피 손실을 사용한 엔드 투 엔드 학습을 유지한다.
• 원천 시퀀스 표현(인코더 상태로부터 유도)과 단어 임베딩 행렬을 모두 활용하여 첫 번째 단어의 조건부 확률을 모델링한다.
• 표준 시퀀스-투-시퀀스 목표를 사용하여 엔드 투 엔드로 학습함으로써, 첫 번째 단어 생성이 후속 디코딩과 함께 공동 최적화되도록 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 첫 번째 단어 생성 메커니즘이 시퀀스-투-시퀀스 모델에서 고정된 시작 기호보다 우월한가?
• RQ2 시작 기호를 문맥 기반의 학습 가능한 예측으로 대체하면 대화 생성 작업에서 생성 품질이 향상되는가?
• RQ3 제안된 방법이 디코딩 과정에서 첫 번째 단어로부터 오는 오류 전파를 어느 정도 줄이는가?
• RQ4 제안된 방법은 대화 응답 생성 외의 다른 시퀀스-투-시퀀스 응용 분야로 일반화 가능한가?

주요 결과

• 제안된 방법은 짧은 텍스트 응답 생성에서 자동 평가 및 인간 평가 지표 모두에서 최신 기준 베이스라인을 초월한다.
• 인간 평가 결과, 제안 모델(LTS)의 평균 점수는 0.590이며, 베이스라인(HYB)의 0.510보다 높아 응답 품질 향상을 시사한다.
• 평가자 간 일치도가 더 높았으며(LTS: 캄다 = 0.206, 베이스라인: 캄다 = 0.230) 이는 더 일관되고 신뢰할 수 있는 출력을 의미한다.
• 첫 번째 단어 예측의 다양성과 정확도가 향상되어 고정된 시작 기호에 대한 의존도가 감소한다.
• 이 방법은 대화 생성 외의 다른 시퀀스-투-시퀀스 작업으로도 일반화 가능하다.
• 제거 실험 결과, 학습된 첫 번째 단어 생성이 전체 성능 향상에 기여한다는 것이 확인되었다.