[論文レビュー] Automatic Text-based Personality Recognition on Monologues and Multiparty Dialogues Using Attentive Networks and Contextual Embeddings

Hang Jiang, Xianzhe Zhang+1 more|arXiv (Cornell University)|Nov 21, 2019

Topic Modeling参考文献 6被引用数 15

ひとこと要約

本稿では、会話ベースのパーソナリティ認識のための新規データセット FriendsPersona を導入し、文脈的埋め込み（BERT および RoBERTa）を用いた注意メカニズム付きニューラルネットワークフレームワークを提案する。このアプローチにより、Essays データセットでは平均正解率が 2.49% 向上し、FriendsPersona では強力なベンチマークを確立した。これは、多人数会話におけるパーソナリティのモデリングに直面する課題を浮き彫りにしている。

ABSTRACT

Previous works related to automatic personality recognition focus on using traditional classification models with linguistic features. However, attentive neural networks with contextual embeddings, which have achieved huge success in text classification, are rarely explored for this task. In this project, we have two major contributions. First, we create the first dialogue-based personality dataset, FriendsPersona, by annotating 5 personality traits of speakers from Friends TV Show through crowdsourcing. Second, we present a novel approach to automatic personality recognition using pre-trained contextual embeddings (BERT and RoBERTa) and attentive neural networks. Our models largely improve the state-of-art results on the monologue Essays dataset by 2.49%, and establish a solid benchmark on our FriendsPersona. By comparing results in two datasets, we demonstrate the challenges of modeling personality in multi-party dialogue.

研究の動機と目的

• 自然言語処理における自動的パーソナリティ認識のための会話ベースのデータセットが不足しているという問題に取り組む。
• 文脈的埋め込み（BERT および RoBERTa）および注意メカニズム付きニューラルネットワークが、パーソナリティ認識タスクにおいてどの程度有効であるかを検討する。
• 新規でスケーラブルな会話抽出手法を用いて、多人数会話におけるパーソナリティ認識のための新しいベンチマークを確立する。
• 独白文と多人数会話の設定の両方でモデルの性能を比較し、会話参加者の相互作用をモデリングする際の課題を特定する。

提案手法

• 主な発話者を特定するためのスライディングウインドウ分析を用いた、新規の会話抽出アルゴリズム MainSpeakerFinder (MSF) を開発した。この手法は、発話者ごとの発話数のピークを検出し、主な発話者を中心にサブシーンを抽出する。
• Friends TV シリーズの第1〜4期から抽出した 711 個のサブシーンについて、クラウドソーシングを用いてアノテーションを実施し、Big Five のパーソナリティ特徴の5つの特徴について二値ラベルを付与した。このデータセットが FriendsPersona である。
• 序列分類に微調整された事前学習済みの文脈的埋め込み（BERT および RoBERTa）に加え、注意メカニズム付きニューラルネットワーク（ABCNN、ABLSTM、HAN）を組み合わせて、テキスト表現をモデル化した。
• モデルの評価には、単一発話（ターゲット発話者のみ）、単一発話＋文脈（ターゲット＋他の発話者）、および完全な会話の3つの入力形式を用い、会話構造への感受性を評価した。
• 再現性と Essays データセットにおける先行研究との整合性を確保するため、固定されたランダムシードを用いた 10 折り交差検証を実施した。
• 3名のアノテーターのスコアを中央値分割により二値ラベルに変換し、アノテーター間整合性は Fleiss の kappa（20.54%）および対比較 kappa（54.92%）で測定した。

実験結果

リサーチクエスチョン

• RQ1 BERT や RoBERTa といった事前学習済みの文脈的埋め込みは、従来のモデルと比較して、独白文におけるパーソナリティ認識の性能を顕著に向上させるか？
• RQ2 パーソナリティ認識モデルの性能は、独白文と多人数会話の両方の設定でどのように異なるか？
• RQ3 会話ベースのパーソナリティ認識において、異なる入力形式（単一発話、文脈あり、完全な会話）がモデルの性能に与える影響は何か？
• RQ4 注意メカニズム付きニューラルネットワークを用いることで、会話的テキストにおけるパーソナリティ特徴のモデリングがどの程度向上するか？
• RQ5 会話ベースのパーソナリティ認識におけるアノテーションの質は、独白文ベースのデータセットと比較してどうか。また、アノテーター間整合性に影響を与える要因は何か？

主な発見

• 提案手法により、Essays データセットにおけるパーソナリティ認識の最先端の平均正解率が、5つのパーソナリティ特徴すべてで 2.49% 向上した。特に RoBERTa は、5つの特徴のうち4つで最高の性能を示した。
• FriendsPersona データセットでは、RoBERTa が全15のケースのうち10で最高の正解率を記録した。特に、単一発話形式を用いた開放性（OPN）では、最高の正解率 68.47% を達成した。
• 全特徴において、単一発話（S）形式が、S+C および F 形式を常に上回った。これは、独話形式の入力で学習したモデルが、完全な会話形式のものよりも一般化性能に優れていることを示している。
• HAN は FriendsPersona で上位15件のうち3件を占め、Essays データセットでの性能を上回った。これは、階層的アテンションが、発話者固有の内容をモデリングする際に、会話構造の恩恵を受ける可能性があることを示唆している。
• 主観性のため、Fleiss の kappa が低く（20.54%）なものの、アノテーションプロセスは信頼性の高いベンチマークデータセットを生み出し、モデルの学習および評価に十分なアノテーター間整合性を維持していた。
• BERT および RoBERTa は、両方のデータセットにおいて、勤勉性（CON）のタスクで他のモデルを上回らなかった。これは、この特徴がテキスト的兆候のみから捉えるのが特に困難である可能性を示している。