[論文レビュー] Classifying Constructive Comments

Varada Kolhatkar, Nithum Thain+3 more|arXiv (Cornell University)|Apr 11, 2020

Topic Modeling被引用数 8

ひとこと要約

本稿では、constructiveness（建設的である性質）— つまり、高品質で貢献を伴うコメント — をラベル付けした12,000件のアノテート済みニュースコメントからなる「Constructive Comments Corpus (C3)」を紹介する。従来の機械学習およびディープラーニングモデル（BERTを含む）を用いて、著者らは、コメント長に依存せず、ドメインを越えて一般化可能なモデルが、オンラインモデレーションにおける毒性フィルタリングの能動的代替手段として有効に機能することを示している。

ABSTRACT

We introduce the Constructive Comments Corpus (C3), comprised of 12,000 annotated news comments, intended to help build new tools for online communities to improve the quality of their discussions. We define constructive comments as high-quality comments that make a contribution to the conversation. We explain the crowd worker annotation scheme and define a taxonomy of sub-characteristics of constructiveness. The quality of the annotation scheme and the resulting dataset is evaluated using measurements of inter-annotator agreement, expert assessment of a sample, and by the constructiveness sub-characteristics, which we show provide a proxy for the general constructiveness concept. We provide models for constructiveness trained on C3 using both feature-based and a variety of deep learning approaches and demonstrate that these models capture general rather than topic- or domain-specific characteristics of constructiveness, through domain adaptation experiments. We examine the role that length plays in our models, as comment length could be easily gamed if models depend heavily upon this feature. By examining the errors made by each model and their distribution by length, we show that the best performing models are less correlated with comment length.The constructiveness corpus and our experiments pave the way for a moderation tool focused on promoting comments that make a contribution, rather than only filtering out undesirable content.

研究の動機と目的

• オンラインディスカッションにおける建設的コメントを特定するためのデータセットとモデルの開発。毒性フィルタリングの受動的アプローチを超えること。
• 詳細なアノテーションスキームとサブ特性の分類法を用いて、constructiveness（建設的である性質）を定義・操作化すること。
• C3で学習したモデルが、特定のコンテンツに過剰適合するのではなく、一般化可能な、ドメインに依存しない特徴を捉えているかどうかを評価すること。
• コメント長がモデル性能に与える影響を特定し、上位モデルがさまざまな長さのコメントに対しても効果を発揮するかどうかを検証すること。
• 建設的コメント分類が、オンラインコミュニティにおける高品質な議論を促進するツールとしての可能性を検討すること。

提案手法

• アノテーターが、サブ特性の詳細な分類法を用いて12,000件のニュースコメントをconstructiveness（建設的である性質）についてラベル付けし、アノテーター間整合性と専門家による評価を通じて妥当性を検証した。
• 語彙的および構文的特徴を用いた、TF-IDFとロジスティック回帰を用いた特徴ベースのモデルを訓練した。
• CNN、biLSTM、および微調整済みBERTアーキテクチャを用いたディープラーニングモデルを実装し、事前学習済みGloVeおよびBERT埋め込みを用いた。
• モデルは交差エントロピー損失、0.001の学習率を有するAdam最適化アルゴリズム、および正則化のための0.5ドロップアウトを用いて評価された。
• ドメイン適応実験を実施し、異なるコメントセクションやトピック間でのモデルの一般化能力をテストした。
• コメント長に応じてモデル予測を層別化することで、長さに基づく操作（gaming）に対する耐性を評価するための誤差分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 建設的である性質に関する一貫性があり信頼性の高いアノテーションスキームを、クラウドワーカーと専門家の両方で開発・検証できるか？
• RQ2 建設的である性質のサブ特性が、建設的である性質という広範な概念の妥当な代理指標として機能するか？
• RQ3 C3で学習した機械学習モデルが、特定のコンテンツに過剰適合するのではなく、異なるドメインやトピックに一般化できるか？
• RQ4 コメント長がモデル性能にどの程度影響を及ぼすか。また、上位性能を示すモデルは、長さにかかわらず効果を発揮するか？
• RQ5 建設的である性質を分類するモデルが、高品質な貢献を促進する能動的モデレーションツールとして利用可能か？

主な発見

• C3データセットは高いアノテーター間整合性と専門家による妥当性評価を達成しており、アノテーションスキームおよびサブ特性分類法の信頼性が裏付けられた。
• 特にBERTベースのアプローチが最も優れた性能を示し、ドメインを越えて一般化する能力を示しており、これは、特定トピックのパターンではなく、建設的である性質の一般特徴を捉えていることを示している。
• 誤差分析の結果、上位モデルはすべてのコメント長カテゴリで高い性能を維持しており、長さに基づく操作に対して耐性があることが示された。
• 建設的である性質のサブ特性（例：推論、証拠、視点）は予測可能性が高く、全体の建設的である性質のラベルに対する意味のある代理指標であることが判明した。
• ドメイン適応実験により、あるドメインで学習したモデルが他のドメインでも建設的である性質を効果的に分類できることを確認し、移行可能性と実世界への適用可能性を裏付けた。
• C3データセットおよび訓練済みモデルは公開されており、ポジティブモデレーションや高品質コメントの促進に関するさらなる研究を可能にしている。