[논문 리뷰] Neural Machine Translation For Paraphrase Generation

Alex Sokolov, Denis Filimonov|arXiv (Cornell University)|2020. 06. 25.

Topic Modeling참고 문헌 18인용 수 12

한 줄 요약

이 논문은 애자스키 스킬 개발에서 훈련 데이터의 자동 복수 표현 생성을 위해 신경 기계 번역(NMT) 기반 접근법을 제안한다. 이는 양방향 LSTM과 GloVe 임베딩을 사용한 시퀀스-투-시퀀스 모델을 기반으로 하며, 도메인 외 데이터로 에너드를 미세 조정하고 슬롯 복사 기법을 적용함으로써, 예측 불가능한 스킬에서의 의도 분류 및 명명된 실체 인식 정확도를 크게 향상시킨다. 이는 수동 주석 처리 부담을 줄인다.

ABSTRACT

Training a spoken language understanding system, as the one in Alexa, typically requires a large human-annotated corpus of data. Manual annotations are expensive and time consuming. In Alexa Skill Kit (ASK) user experience with the skill greatly depends on the amount of data provided by skill developer. In this work, we present an automatic natural language generation system, capable of generating both human-like interactions and annotations by the means of paraphrasing. Our approach consists of machine translation (MT) inspired encoder-decoder deep recurrent neural network. We evaluate our model on the impact it has on ASK skill, intent, named entity classification accuracy and sentence level coverage, all of which demonstrate significant improvements for unseen skills on natural language understanding (NLU) models, trained on the data augmented with paraphrases.

연구 동기 및 목표

• 자연어 이해(NLU) 모델 훈련을 위한 다양한 인간 유사 훈련 예제를 복수화를 통해 자동 생성함으로써, 애자스키 스킬 개발의 수동 주석 처리 부담을 줄이기.
• 모델이 생성한 복수 표현으로 훈련 데이터를 증강함으로써, 예측 불가능한 스킬에서 의도 분류(IC) 및 명명된 실체 인식(NER) 성능을 향상시키기.
• 도메인 외 사전 훈련을 활용하면서도 생성된 복수 표현에서 슬롯 정보를 유지하는 유연하고 종단 간 신경 기반 접근법 개발하기.
• 스킬 문법 예제의 낮은 커버리지 문제를 해결하기 위해, 동일한 의도와 슬롯 구조에 대해 의미적으로 동일한 다양한 발화를 생성하기.

제안 방법

• 모델은 양방향 LSTM을 사용한 인코더-디코더 아키텍처를 사용하여 원천 문장을 컨텍스트 벡터로 인코딩하고, 이를 복수 표현으로 디코딩한다.
• 인코더는 대규모 도메인 외 영어 코퍼스에서 사전 훈련된 후, 도메인 내 애자스키 데이터로 미세 조정되어 표현 학습을 향상시킨다.
• GloVe 단어 임베딩을 사용하여 어휘 크기를 줄이고 희귀어 및 동의어에 대한 강건성을 향상시킨다.
• 디코딩 후 슬롯 복사 기법을 적용하여 도시나 숫자와 같은 실체를 복수 표현 출력에서 유지한다.
• 다양한 복수 표현 가설을 생성하기 위해 추론 시 왼쪽에서 오른쪽으로의 빔 검색과 n개의 최상위 후보 선택을 사용한다.
• 원천 입력에 대해 타겟 시퀀스의 로그 우도를 최대화하도록 훈련하며, 교차 엔트로피 손실을 사용한다.

실험 결과

연구 질문

• RQ1 신경 기계 번역 모델이 애자스키 스킬 도메인의 도메인 내 대화 데이터에 대해 고품질의 복수 표현을 효과적으로 생성할 수 있는가?
• RQ2 모델이 생성한 복수 표현으로 데이터 증강을 수행할 경우, 예측 불가능한 스킬에서 의도 분류 및 명명된 실체 인식 성능이 어느 정도 향상되는가?
• RQ3 도메인 외 데이터로의 사전 훈련과 도메인 내 데이터로의 미세 조정이 생성된 복수 표현의 품질과 다양성에 어떤 영향을 미치는가?
• RQ4 슬롯 복사 기법이 생성된 복수 표현에서 의미적 및 구조적 충실도를 유지하는 데 어떤 영향을 미치는가?
• RQ5 규칙 기반 또는 통계 기반 복수 표현 방법과 비교할 때, 모델의 문법적 정확성과 어휘 다양성 측면에서의 성능은 어떠한가?

주요 결과

• 복수 표현으로 증강된 데이터를 사용할 경우, 예측 불가능한 스킬에서 의도 분류 정확도가 최대 44.1% 향상되었고, 명명된 실체 인식 정확도는 9.6% 향상되었다.
• 최고의 성능을 보인 설정(고정된 인코더를 가진 미세 조정된 인코더)은 기준 모델 대비 의도 분류에서 15.9% 상대적 향상과 NER에서 17.9% 향상을 달성했다.
• 복사 기법 없이도 모델은 알 수 없는 단어 없이 문법적으로 올바른 문장을 생성했으며, 이는 도메인 내 데이터에 대한 강력한 일반화 능력을 보여준다.
• 모델은 실체가 상호 교환되더라도 의도와 슬롯 구조를 유지한 복수 표현을 생성했으며, 일관된 슬롯 레이블링 덕분에 훈련에 해를 끼치지 않았다.
• 도메인 외 사전 훈련을 통해 표현 학습이 크게 향상되었으며, 특히 제한된 도메인 내 데이터를 고려할 때 유의미한 영향을 미쳤다.
• 모델는 노이즈에 대해 강건성을 보였으며, 이는 복수 표현 품질이 완벽할 필요 없이도 후속 NLU 성능 향상에 기여할 수 있음을 시사한다.