[논문 리뷰] BERT-based Ensembles for Modeling Disclosure and Support in Conversational Social Media Text

Tanvi Dadu, Kartikey Pant외 1명|arXiv (Cornell University)|2020. 06. 01.

Topic Modeling참고 문헌 11인용 수 12

한 줄 요약

이 논문은 CL-Aff 공동 과제에서 레딧 댓글의 유출 및 지지성 예측을 위해 RoBERTa와 ALBERT를 조합한 BERT 기반 앙상블 모델을 제안한다. 앙상블 모델은 기준 모델 대비 F1 점수에서 3% 향상되었으며, 통계 분석 결과 댓글 영향력과 언어적 특징 간 상관관계가 미미하여 영향력 예측을 위해 고도화된 아키텍처가 필요하다는 점을 시사한다.

ABSTRACT

There is a growing interest in understanding how humans initiate and hold conversations. The affective understanding of conversations focuses on the problem of how speakers use emotions to react to a situation and to each other. In the CL-Aff Shared Task, the organizers released Get it #OffMyChest dataset, which contains Reddit comments from casual and confessional conversations, labeled for their disclosure and supportiveness characteristics. In this paper, we introduce a predictive ensemble model exploiting the finetuned contextualized word embeddings, RoBERTa and ALBERT. We show that our model outperforms the base models in all considered metrics, achieving an improvement of $3\%$ in the F1 score. We further conduct statistical analysis and outline deeper insights into the given dataset while providing a new characterization of impact for the dataset.

연구 동기 및 목표

• 대화형 소셜미디어 텍스트에서 정서적 및 정보적 유출, 지지성 여부를 식별하기 위한 강건한 예측 모델을 개발하는 것.
• 컨텍스트 기반 BERT 기반 임베딩을 활용한 앙상블 학습을 통해 CL-Aff 공동 과제 데이터셋에서 성능을 향상시키는 것.
• 라벨 불균형, 단어 수, 시간 패턴(예: 요일)과 같은 데이터셋 특성을 분석하여 행동 패턴을 밝혀내는 것.
• 업보-다운보 차이로 정의된 '영향력'을 사회적 대화에서 댓글 영향을 새롭게 특성화하는 것.
• 정서적 특징과 댓글 영향력 간의 관계를 조사하여 언어적 신호가 퍼진다거나 참여도를 예측할 수 있는지 평가하는 것.

제안 방법

• 모델는 Get it #OffMyChest 데이터셋에서 유출 및 지지성 분류에 대해 미세조정된 두 가지 사전 학습된 BERT 기반 아키텍처인 RoBERTa와 ALBERT의 앙상블을 사용한다.
• 다양한 후행 분류 작업에 걸쳐 분산을 줄이고 일반화 능력을 향상시키기 위해 예측 결과를 가중 평균 전략으로 통합한다.
• RoBERTa와 ALBERT의 컨텍스트 기반 임베딩을 사용하여 전이 학습을 적용하며, 이는 대규모 텍스트 코퍼스를 기반으로 마스크된 언어 모델링 및 다음 문장 예측 목표로 사전 학습된 것이다.
• 라벨 빈도, 댓글 특성(예: 단어 수, 포스트당 댓글 수) 및 요일과 같은 시간적 특성 간의 관계를 분석하기 위해 피어슨 상관계수를 사용한 통계 분석을 수행한다.
• 영향력은 업보와 다운보의 차이로 정량화되며, 긍정/부정 어휘, 주관적 어휘, 단어 의미 유사도 지표와 같은 언어적 특징과의 상관관계를 평가한다.
• FastText와 WordNet 기반 방법을 사용해 의미적 특징인 Sense Closest, Sense Farmost, Sense Combination, Positive Polarity Confidence를 추출하여 댓글 영향력에 대한 예측 능력을 평가한다.

실험 결과

연구 질문

• RQ1 RoBERTa와 ALBERT의 앙상블은 개별 BERT 기반 모델 대비 유출 및 지지성 예측 성능을 어떻게 향상시키는가?
• RQ2 레딧 대화 데이터셋에서 라벨 분포, 단어 수, 포스트 또는 사용자당 댓글 빈도의 주요 패턴은 무엇인가?
• RQ3 요일이 회고적 및 일반적인 레딧 스레드에서 유출 또는 지지적 댓글의 빈도에 유의미한 영향을 미치는가?
• RQ4 감정, 주관성, 단어 의미 유사도와 같은 의미적 특징이 댓글의 사회적 영향력(업보 - 다운보)을 얼마나 잘 예측할 수 있는가?
• RQ5 '영향력'은 기존의 라벨나 의미적 특징과 강하게 상관관계가 없는 독립적이고 의미 있는 댓글 영향의 특성화일 수 있는가?

주요 결과

• 제안된 BERT 기반 앙상블 모델은 기준 모델 대비 F1 점수에서 3% 향상되어 컨텍스트 임베딩을 활용한 앙상블 학습의 효과를 입증한다.
• 데이터셋은 라벨 불균형이 심하며, 단어 수, 부모 포스트당 댓글 수, 사용자 수준의 활동에 큰 변동성이 있다.
• 다른 요일 간에 유출 또는 지지적 댓글의 빈도에 통계적으로 유의미한 차이가 관찰되지 않아 주간 행동 패턴이 뚜렷하지 않음을 시사한다.
• 댓글 영향력과 정서적 유출 간 피어슨 상관계수는 0.046로 모든 라벨 중에서 가장 높은 수준이며, 약한 그러나 독립적인 관계를 시사한다.
• 의미적 특징 중에서 Sense Closest는 영향력과 가장 높은 상관관계(ρ = 0.040)를 보이며, 나머지 특징들은 거의 영향 없거나 略음성 상관관계를 보여 표준 언어적 특징의 예측 능력이 제한적임을 시사한다.
• 영향력과 의미적 특징 간의 최소한의 상관관계는 댓글 영향력이 복잡한 비언어적 요인에 의해 영향을 받음을 시사하며, 정확한 예측을 위해 더 정교한 모델이 필요하다.