[논문 리뷰] Empathetic BERT2BERT Conversational Model: Learning Arabic Language Generation with Little Data

Tarek Naous, Wissam Antoun외 2명|arXiv (Cornell University)|2021. 03. 07.

Topic Modeling참고 문헌 30인용 수 13

한 줄 요약

이 논문은 아랍어 공감 대화 데이터셋에 맞춤형으로 튜닝된 BERT2BERT 모델을 제안하며, 인코더와 디코더 양쪽을 아라BERT 가중치로 초기화하여 자원이 적은 아랍어 공감 응답 생성을 향상시킨다. 모델은 퍼플렉서티 17.0을 기록하고 이전 작업 대비 BLEU 점수 5점 향상되었으며, 인간 평가자들이 공감성, 관련성, 유창성 기준으로 4.3/5.0의 평가를 내렸다.

ABSTRACT

Enabling empathetic behavior in Arabic dialogue agents is an important aspect of building human-like conversational models. While Arabic Natural Language Processing has seen significant advances in Natural Language Understanding (NLU) with language models such as AraBERT, Natural Language Generation (NLG) remains a challenge. The shortcomings of NLG encoder-decoder models are primarily due to the lack of Arabic datasets suitable to train NLG models such as conversational agents. To overcome this issue, we propose a transformer-based encoder-decoder initialized with AraBERT parameters. By initializing the weights of the encoder and decoder with AraBERT pre-trained weights, our model was able to leverage knowledge transfer and boost performance in response generation. To enable empathy in our conversational model, we train it using the ArabicEmpatheticDialogues dataset and achieve high performance in empathetic response generation. Specifically, our model achieved a low perplexity value of 17.0 and an increase in 5 BLEU points compared to the previous state-of-the-art model. Also, our proposed model was rated highly by 85 human evaluators, validating its high capability in exhibiting empathy while generating relevant and fluent responses in open-domain settings.

연구 동기 및 목표

• 부족한 주석 데이터로 인해 공감 대화에 적합한 고성능 아랍어 자연어 생성(NLG) 모델가 부족한 문제를 해결하기 위해.
• 아라BERT 사전학습 가중치를 활용하여 아랍어 저자원 환경에서의 전이학습을 통해 문제를 해결하기 위해.
• 영어 BERT2BERT 아키텍처를 아랍어에 적응시켜 개방형 대화에서 공감 응답 생성을 향상시키기 위해.
• 자동 평가 지표 외에도 인간 평가를 통해 공감성, 관련성, 유창성에 대한 성능을 평가하기 위해.
• 중립적인 대화 유형에 대한 처리에 한계가 있음을 파악하고, 향후 작업으로서 맥락 인식 응답 선택 향상 방안을 제안하기 위해.

제안 방법

• 아랍어 공감 대화 데이터셋에 기반하여 트랜스포머 기반 인코더-디코더 모델(BERT2BERT)을 미세조정하며, 인코더와 디코더 양쪽을 사전에 학습된 아라BERT 가중치로 초기화한다.
• 아라BERT의 맥락 기반 표현을 활용하여 저자원 상황에서의 성능 향상을 위한 지식 전이를 수행한다.
• 입력 문장에 대한 응답 생성을 최적화하기 위해 교차 엔트로피 손실을 사용한 시퀀스 투 시퀀스 학습을 구현한다.
• 공감성, 관련성, 유창성 평가를 0–5 척도로 평가하기 위해 총 85명의 평가자로 구성된 인간 평가 연구를 수행한다.
• 세 가지 베이스라인 모델과의 비교: Bi-LSTM Seq2Seq 모델, 감정 레이블을 앞에 붙인 Bi-LSTM, 사전학습되지 않은 트랜스포머 디코더.
• 중립적인 감정 상태를 가진 입력에 대한 모델 행동을 분석하여 맥락 인식 응답 선택에 대한 한계를 규명한다.

실험 결과

연구 질문

• RQ1 아라BERT 가중치로 초기화된 BERT2BERT 인코더-디코더가 저자원 아랍어 대화 시스템에서 공감 응답 생성을 크게 향상시킬 수 있는가?
• RQ2 자동 평가 지표(퍼플렉서티, BLEU)와 인간 평가 점수 측면에서 제안된 모델은 기존 베이스라인 모델보다 어떻게 비교되는가?
• RQ3 모델은 공감성, 관련성, 유창성을 유지하면서 개방형 대화에 얼마나 잘 일반화되는가?
• RQ4 모델은 중립적 또는 감정이 없는 대화 유형을 처리하는 데 어떤 한계를 보이는가?
• RQ5 아라BERT에서의 지식 전이가 아랍어 NLG 과제에서 자원 부족 문제를 완화하는 데 얼마나 효과적인가?

주요 결과

• 제안된 BERT2BERT 모델은 이전 최고 성능 모델보다 훨씬 낮은 퍼플렉서티 17.0을 기록했다.
• 이전 최고 성능 모델 대비 BLEU 점수 5점 향상으로 더 나은 응답 생성 품질을 입증했다.
• 인간 평가자들은 공감성, 관련성, 유창성 기준으로 모델을 4.3 out of 5.0로 평가하여 강력한 인간 인식 성능을 보였다.
• Bi-LSTM, 감정 레이블를 앞에 붙인 Bi-LSTM, 사전학습되지 않은 트랜스포머를 포함한 모든 세 베이스라인 모델보다 모든 평가 지표에서 뛰어난 성능을 보였다.
• 감정이 강한 응답에서는 뛰어난 성능를 보였지만, '안녕, 어떻게 지내?', 와 같은 중립적인 대화 유형에서는 종종 부적절하게 공감 응답을 생성하는 경향을 보였다.
• 중립적인 문장 처리에 대한 이 한계는 향후 작업으로서 맥락 인식 응답 선택 및 감정 인식 기반 생성 제어 향상이 필요함을 시사한다.