[논문 리뷰] Predicting the Quality of Short Narratives from Social Media

Tong Wang, Ping Chen외 1명|arXiv (Cornell University)|2017. 07. 08.

Topic Modeling참고 문헌 21인용 수 7

한 줄 요약

이 논문은 소셜 미디어의 짧은 서사문의 품질을 업보트를 품질의 대체 지표로 사용하여 예측하기 위한 신경망 프레임워크를 제안한다. 지역별 임베딩 모델을 도입하여 텍스트 조각 간의 상호의존성을 포착하여 랜덤 포레스트 기준 18.10%의 상대적 평균제곱오차 감소를 달성하며, 자동 서사 품질 평가를 위한 강력한 벤치마크를 수립한다.

ABSTRACT

An important and difficult challenge in building computational models for narratives is the automatic evaluation of narrative quality. Quality evaluation connects narrative understanding and generation as generation systems need to evaluate their own products. To circumvent difficulties in acquiring annotations, we employ upvotes in social media as an approximate measure for story quality. We collected 54,484 answers from a crowd-powered question-and-answer website, Quora, and then used active learning to build a classifier that labeled 28,320 answers as stories. To predict the number of upvotes without the use of social network features, we create neural networks that model textual regions and the interdependence among regions, which serve as strong benchmarks for future research. To our best knowledge, this is the first large-scale study for automatic evaluation of narrative quality.

연구 동기 및 목표

• 자동 서사 품질 평가의 과제를 해결하기 위해, 이는 서사 이해 및 생성 시스템 모두에 있어 핵심적인 요소이다.
• 인간의 주석 작업 비용이 높기 때문에 Quora의 업보트를 서사 품질의 대체 측정 지표로 활용함으로써 이를 회피하고자 한다.
• 서사 품질 평가를 위한 28,320개의 서사 유형 답변으로 구성된 대규모 데이터셋을 구축하고자 한다.
• 짧은 서사문 내 텍스트 영역 간의 의미적 상호의존성을 포착하는 신경망 모델을 개발하고자 한다.
• 향후 자동 서사 품질 예측 분야의 연구를 위한 강력한 계산 기반 기준을 수립하고자 한다.

제안 방법

• Quora에서 54,484개의 답변을 수집하고, 활성 학습을 활용하여 28,320개를 서사 유형의 문장으로 분류하였다.
• 텍스트 영역를 임베딩하고, 영역 간의 상호의존성을 순환 단위(LSTM 또는 RNN)를 사용하여 모델링하는 신경망 모델을 제안하였다.
• 전체 서사를 지역 임베딩과 순환성을 갖는 통합 독자 모델과, 영역를 순서대로 처리하는 순차적 독자 모델을 설계하였다.
• 사회적 네트워크 특징을 제외하고 순수하게 텍스트 특징만을 사용하여 모델을 훈련시켜 순수한 계산 기반의 서사 이해를 확보하였다.
• 평가 지표로 평균제곱오차(MSE)를 사용하였으며, 비교를 위해 랜덤 포레스트 기준 모델을 활용하였다.
• 기울기 클리핑과 히든 상태에 대한 최대 풀링을 적용하여 문서 수준의 표현을 생성하였다.

실험 결과

연구 질문

• RQ1 인간 주석이 없는 상황에서 소셜 미디어의 업보트가 서사 품질의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ2 신경망은 짧은 서사문 내 텍스트 영역 간의 상호의존성을 효과적으로 모델링하여 품질을 예측할 수 있는가?
• RQ3 다양한 신경망 아키텍처(RNN, LSTM, 지역 기반 대비 통합 독자 등)의 상대적 성능은 서사 업보트 예측에서 어떻게 나타나는가?
• RQ4 질문 및 답변 텍스트는 서사 품질 예측에 얼마나 기여하는가?
• RQ5 순수하게 텍스트 기반의 모델이 랜덤 포레스트와 같은 전통적 기준 모델을 초월할 수 있는가?

주요 결과

• 영역 간 LSTM 순환을 갖는 통합 독자 모델이 가장 뛰어난 성능을 보였으며, 랜덤 포레스트 기준 18.10%의 상대적 평균제곱오차 감소를 달성하였다.
• 단일 게이팅 메커니즘을 갖는 순차적 독자 모델이 LSTM 버전보다 뛰어난 성능을 보였으며, 이는 순차적 모델링에서 단순한 게이팅 메커니즘이 더 효과적일 수 있음을 시사한다.
• 질문 텍스트의 포함이 예측 성능을 크게 향상시켰으며, 통합 모델이 질문과 답변을 모두 사용할 경우 18.10%의 오차 감소를 달성하였다.
• 비텍스트 특징 26개만을 사용한 경우 통합 모델은 랜덤 포레스트 기준 모델보다 성능이 열 劣하므로, 텍스트 콘텐츠가 정확한 예측을 위해 필수적임을 시사한다.
• 순환성을 갖지 않는 지역 임베딩 모델도 랜덤 포레스트 기준 14.73%의 상대적 향상률을 기록하여, 텍스트 조각을 모델링하는 것이 가치가 있음을 입증하였다.
• 최고 성능을 보인 모델(Holistic + LSTM)은 MSE 0.4438을 기록하여, 랜덤 포레스트 기준 모델을 포함한 모든 다른 모델보다 뛰어난 성능을 보였다.