[論文レビュー] BERT-based Ensembles for Modeling Disclosure and Support in Conversational Social Media Text

Tanvi Dadu, Kartikey Pant+1 more|arXiv (Cornell University)|Jun 1, 2020

Topic Modeling参考文献 11被引用数 12

ひとこと要約

本稿では、CL-Aff Shared Task の Reddit コメントにおける露呈と支援的態度の予測を目的として、RoBERTa と ALBERT を組み合わせた BERT ベースのアンサンブルモデルを提案する。アンサンブルはベースモデルを上回り、F1 スコアで3% の向上を達成した。一方、統計的分析ではコメントの影響力と言語的特徴の間の相関が最小限であることが判明し、影響力予測には高度なアーキテクチャの必要性が示唆される。

ABSTRACT

There is a growing interest in understanding how humans initiate and hold conversations. The affective understanding of conversations focuses on the problem of how speakers use emotions to react to a situation and to each other. In the CL-Aff Shared Task, the organizers released Get it #OffMyChest dataset, which contains Reddit comments from casual and confessional conversations, labeled for their disclosure and supportiveness characteristics. In this paper, we introduce a predictive ensemble model exploiting the finetuned contextualized word embeddings, RoBERTa and ALBERT. We show that our model outperforms the base models in all considered metrics, achieving an improvement of $3\%$ in the F1 score. We further conduct statistical analysis and outline deeper insights into the given dataset while providing a new characterization of impact for the dataset.

研究の動機と目的

• 会話的ソーシャルメディアのテキストにおける感情的・情報的露呈および支援的態度を特定する堅牢な予測モデルの開発を目的とする。
• 文脈に即した BERT ベースの埋め込みを用いたアンサンブル学習を活用することで、CL-Aff Shared Task データセットにおける性能を向上させることを目的とする。
• ラベルの不均衡、単語数、時間的パターン（例：曜日）といったデータセットの特性を分析し、行動的傾向を解明することを目的とする。
• 「影響力」として「いいね数と悪いね数の差」を定義し、ソーシャルメディアの会話におけるコメントの影響の新たな特徴付けを導入することを目的とする。
• 意味的特徴とコメントの影響力の関係を調査し、言語的手がかりが拡散性や関与度を予測できるかどうかを評価することを目的とする。

提案手法

• モデルは、Get it #OffMyChest データセット上で微調整された、RoBERTa と ALBERT の2つの事前学習済み BERT アーキテクチャのアンサンブルを採用し、露呈および支援的分類を目的とする。
• アンサンブルの予測は、複数の下流分類タスクにおける分散の低減と一般化性能の向上を図るため、重み付き平均法で統合される。
• 微細調整された文脈的埋め込みを用いたトランスファー学習が実施され、RoBERTa と ALBERT は大規模なテキストコーパスを用いてマスク言語モデルと次文予測の目的関数で事前学習されている。
• 統計的分析にはピアソン相関係数が用いられ、ラベル頻度、コメント特徴（例：単語数、1投稿あたりのコメント数）および曜日などの時間的属性との関係が分析された。
• 影響力は「いいね数－悪いね数」として定量化され、肯定的・否定的語、主観的語、語の意味類似度メトリクスなどの言語的特徴との相関が評価された。
• FastText および WordNet を用いた手法により、Sense Closest、Sense Farmost、Sense Combination、Positive Polarity Confidence といった意味的特徴が抽出され、それらがコメントの影響力に対する予測力の有効性が評価された。

実験結果

リサーチクエスチョン

• RQ1 RoBERTa と ALBERT のアンサンブルは、個別の BERT ベースモデルと比較して、露呈および支援的態度予測の性能をどのように向上させるか？
• RQ2 Reddit の会話データセットにおけるラベル分布、単語数、1親投稿あたりのコメント頻度の主なパターンは何か？
• RQ3 曜日が、告白的およびカジュアルな Reddit スレッドにおける露呈または支援的コメントの頻度に有意に影響を与えるか？
• RQ4 感情、主観性、語の意味類似度といった意味的特徴が、コメントの社会的影響力（いいね数－悪いね数）をどの程度予測できるか？
• RQ5 「影響力」は、既存のラベルや意味的特徴と強く相関しない、独立的かつ意味のあるコメント影響の特徴付けと見なせるか？

主な発見

• 提案された BERT ベースのアンサンブルモデルは、ベースモデルを上回り、F1 スコアで3% の向上を達成した。これは、文脈的埋め込みを用いたアンサンブル学習の有効性を示している。
• データセットには顕著なラベルの不均衡が見られ、単語数、1親投稿あたりのコメント数、ユーザー単位の活動頻度に顕著なばらつきが認められた。
• 曜日ごとの露呈または支援的コメント頻度に統計的に有意な差は認められず、週単位の行動的パターンは明確でないことが示された。
• コメントの影響力と感情的露呈のピアソン相関係数は 0.046 であり、他のすべてのラベルの中で最も高い値を示し、弱いが明確な関係があることが示された。
• 意味的特徴の中で、Sense Closest が影響力と最も高い相関（ρ = 0.040）を示したが、他のすべての特徴はほぼゼロまたはわずかに負の相関を示し、標準的な言語的特徴の予測力が限定的であることが示された。
• 影響力と意味的特徴の相関が最小限であることは、コメントの影響力が複雑で非言語的要因に強く依存している可能性を示唆し、正確な予測にはより洗練されたモデルの必要性が示された。