[논문 리뷰] Automatic Text-based Personality Recognition on Monologues and Multiparty Dialogues Using Attentive Networks and Contextual Embeddings

Hang Jiang, Xianzhe Zhang외 1명|arXiv (Cornell University)|2019. 11. 21.

Topic Modeling참고 문헌 6인용 수 15

한 줄 요약

이 논문은 대화 기반 성격 인식을 위한 새로운 데이터셋 FriendsPersona를 소개하고, 문맥 임bedding(BERT 및 RoBERTa)을 사용하는 주의 메커니즘 기반 신경망 아키텍처를 제안하여 자동 성격 인식을 향상시킨다. 이는 Essays 데이터셋에서 평균 정확도를 2.49% 향상시키며, FriendsPersona에서는 강력한 벤치마크를 수립하여 다자 대화에서 성격을 모델링하는 데 도전 과제를 드러낸다.

ABSTRACT

Previous works related to automatic personality recognition focus on using traditional classification models with linguistic features. However, attentive neural networks with contextual embeddings, which have achieved huge success in text classification, are rarely explored for this task. In this project, we have two major contributions. First, we create the first dialogue-based personality dataset, FriendsPersona, by annotating 5 personality traits of speakers from Friends TV Show through crowdsourcing. Second, we present a novel approach to automatic personality recognition using pre-trained contextual embeddings (BERT and RoBERTa) and attentive neural networks. Our models largely improve the state-of-art results on the monologue Essays dataset by 2.49%, and establish a solid benchmark on our FriendsPersona. By comparing results in two datasets, we demonstrate the challenges of modeling personality in multi-party dialogue.

연구 동기 및 목표

• 자연어 처리 분야에서 자동 성격 인식을 위한 대화 기반 데이터셋 부족 문제를 해결하기 위해.
• 문맥 임bedding(BERT 및 RoBERTa)과 주의 신경망이 성격 인식 작업에서 얼마나 효과적인지 탐색하기 위해.
• 새로운 확장 가능한 대화 추출 방법을 사용하여 다자 대화에서의 성격 인식에 대한 새로운 벤치마크를 수립하기 위해.
• 독백과 다자 대화 설정 간 모델 성능을 비교하여 대화 상호작용을 모델링하는 데 있어 도전 과제를 규명하기 위해.

제안 방법

• 주어진 대화에서 주로 발언하는 화자 중심으로 하위 장면을 추출하기 위해, 화자별 발언 수의 슬라이딩 윈도우 분석을 활용하는 새로운 대화 추출 알고리즘 MainSpeakerFinder(MSF)를 개발하였다.
• Friends TV 시리즈의 첫 네 시즌에서 711개의 하위 장면을 커스터마이징하여 수집한 데이터를 기반으로, 다섯 가지 빅 파이브 성격 특성에 대해 이진 레이블을 부여한 FriendsPersona 데이터셋을 구축하였다.
• 문장 분류 작업에 맞추어 미세조정된 사전 학습된 문맥 임베딩(BERT 및 RoBERTa)과 주의 신경망(ABCNN, ABLSTM, HAN)을 조합하여 텍스트 표현을 모델링하였다.
• 대화의 구조에 대한 민감도를 평가하기 위해, 단일(대상 화자만), 단일 + 맥락(대상 + 다른 화자), 전체 대화의 세 가지 입력 형식을 사용하여 모델을 평가하였다.
• 재현 가능성을 확보하고 이전 연구와 일관성을 유지하기 위해, 고정된 랜덤 시드를 사용한 10겹 교차 검증을 실시하였다.
• 세 명의 평가자 점수를 중앙값 분할을 통해 이진 레이블로 변환하였으며, 평가자 간 일치도는 Fleiss의 카파(20.54%)와 쌍별 카파(54.92%)로 측정하였다.

실험 결과

연구 질문

• RQ1 BERT 및 RoBERTa와 같은 사전 학습된 문맥 임베딩이 기존 모델 대비 독백 데이터에서 성격 인식 성능을 크게 향상시킬 수 있는가?
• RQ2 성격 인식 모델의 성능은 독백과 다자 대화 설정 간에 어떻게 다름이 있는가?
• RQ3 다양한 입력 형식(단일 화자, 맥락 포함, 전체 대화)이 대화 기반 성격 인식에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 주의 신경망의 사용이 대화 텍스트에서 성격 특성을 모델링하는 데 얼마나 기여하는가?
• RQ5 대화 기반 성격 인식의 평가 품질은 독백 기반 데이터셋과 비교해 볼 때 어떻게 되며, 평가자 간 일치도에 영향을 주는 요소는 무엇인가?

주요 결과

• 제안된 방법은 다섯 가지 성격 특성에 걸쳐 Essays 데이터셋에서 최신 기준 평균 정확도를 2.49% 향상시켰으며, RoBERTa가 다섯 가지 특성 중 네 가지에서 가장 뛰어난 성능을 기록하였다.
• FriendsPersona 데이터셋에서 RoBERTa는 모든 특성과 입력 형식에서 15개의 경우 중 10개에서 가장 높은 정확도를 기록하였으며, 단일 화자 형식을 사용해 개방성(OPN)에서 최고의 결과 68.47%를 기록하였다.
• 모든 성격 특성에서 단일 화자(S) 형식이 S+C 및 F 형식보다 일관되게 뛰어나, 독백 스타일 입력으로 훈련된 모델이 전체 대화를 사용한 모델보다 더 잘 일반화됨을 시사한다.
• HAN은 FriendsPersona에서 상위 15개 결과 중 3개를 기록하며, Essays에서의 성능을 초월하여, 계층적 주의가 화자 중심의 콘텐츠를 모델링할 때 대화의 구조적 특성을 유용하게 활용함을 보여주었다.
• 주관성으로 인해 Fleiss의 카파가 낮았음에도 불구하고(20.54%), 평가 과정은 신뢰할 수 있는 벤치마크 데이터셋을 생성하였으며, 모델 훈련 및 평가에 충분한 평가자 간 일치도를 확보하였다.
• BERT와 RoBERTa가 둘 다 어느 데이터셋에서도 성실성(CON)에서 다른 모델을 초월하지 못했으며, 이는 이 특성이 문장적 단서만으로는 더 어려운 특성일 수 있음을 시사한다.