[논문 리뷰] Neural Paraphrase Generation with Stacked Residual LSTM Networks

Aaditya Prakash, Sadid A. Hasan외 5명|arXiv (Cornell University)|2016. 10. 10.

Natural Language Processing Techniques참고 문헌 49인용 수 221

한 줄 요약

본 논문은 패러프레이즈 생성을 위한 스택드 잔차 LSTM 네트워크를 제시하고, 다양한 대형 데이터셋에서 여러 심층 학습 베이스라인을 능가함을 보인다. 잔차 연결은 더 깊은 LSTM의 학습을 가능하게 하여 패러프레이즈 품질을 향상시킨다.

ABSTRACT

In this paper, we propose a novel neural approach for paraphrase generation. Conventional para- phrase generation methods either leverage hand-written rules and thesauri-based alignments, or use statistical machine learning principles. To the best of our knowledge, this work is the first to explore deep learning models for paraphrase generation. Our primary contribution is a stacked residual LSTM network, where we add residual connections between LSTM layers. This allows for efficient training of deep LSTMs. We evaluate our model and other state-of-the-art deep learning models on three different datasets: PPDB, WikiAnswers and MSCOCO. Evaluation results demonstrate that our model outperforms sequence to sequence, attention-based and bi- directional LSTM models on BLEU, METEOR, TER and an embedding-based sentence similarity metric.

연구 동기 및 목표

• 패러프레이즈 생성을 신경망 시퀀스-투-시퀀스 태스크로 동기 부여하고 규칙 기반 또는 SMT 기반 접근법을 벗어나고자 한다.
• 패러프레이즈 생성을 위해 잔차 연결이 있는 심층 LSTM 아키텍처를 제안하여 더 깊은 인코더/디코더의 학습을 가능하게 한다.
• 표준 평가 지표에서 대규모 패러프레이즈 데이터셋에 걸친 모델의 효과를 입증한다.
• Stacked residual LSTM을 Seq2Seq, 어텐션 기반, 양방향 LSTM 모델 등 여러 베이스라인과 비교했다.
• 다양한 데이터셋(PPDB, WikiAnswers, MSCOCO)에 걸친 견고성을 평가한다.

제안 방법

• LSTM 유닛을 이용한 인코더–디코더 Seq2Seq 프레임워크를 패러프레이즈 생성을 위해 채택한다.
• LSTM 층 간에 스택드 잔차 연결을 도입하여 저하 없이 더 깊은 네트워크를 가능하게 한다.
• 입력이 각 층에서 다음 층으로 흐르는 수직적 스태킹을 사용하고, 매 n층(n=2)마다 잔차 연결을 추가한다.
• SGD, 드롭아웃, perplexity 손실로 학습하고, 추론 시 빔 서치를 통해 평가한다(빔 크기 5와 10).
• BLEU, METEOR, TER 및 임베딩 기반 유사도 지표(Emb Greedy)로 평가한다.

실험 결과

연구 질문

• RQ1 잔차 연결이 패러프레이즈 생성을 위한 더 깊은 스택드 LSTM의 효과적인 학습을 가능하게 하는가?
• RQ2 스택드 잔차 LSTM이 대규모 패러프레이즈 데이터셋에서 기존의 시퀀스-투-시퀀스, 어텐션 기반, 그리고 양방향 LSTM 베이스라인보다 우수한가?
• RQ3 다양한 패러프레이즈 특성을 가진 서로 다른 데이터셋에서 제안된 모델의 성능은 어떠한가(짧은 구문 대 longer 캡션)?
• RQ4 스택드 잔차 LSTM 모델의 빔 크기가 패러프레이즈 품질에 미치는 영향은 무엇인가?
• RQ5 Perplexity가 신경 패러프레이즈 생성기 학습에 적합한 손실함수인가, 그리고 임베딩 기반 유사도가 전통적 지표와 얼마나 상관관계가 있는가?

주요 결과

• 스택드 잔차 LSTM 모델은 모든 데이터셋에서 BLEU와 TER 기준으로 일관되게 베이스라인 모델보다 향상된다.
• 대부분의 데이터셋에서 Emb Greedy 점수가 우수하지만, 큰 빔 크기에서 예외가 있다.
• METEOR 향상은 데이터셋 의존적이며, 잔차 LSTM이 MSCOCO와 WikiAnswers에서 앞서지만 PPDB에서는 항상 그렇지 않다.
• 깊이를 늘리는 것이(4층 잔차 LSTM) 더 얕은 구성보다 성능이 좋다.
• Perplexity는 모델 성능과 정렬되지만, 현재 지표들은 패러프레이즈 품질의 의미적 및 참신성 측면을 놓칠 수 있다.
• 이 방법은 PPDB, WikiAnswers, MSCOCO 등 다양한 데이터 소스에서 잘 작동하며, MSCOCO의 학습에 이미지가 필요하지 않다.