[論文レビュー] APPDIA: A Discourse-aware Transformer-based Style Transfer Model for Offensive Social Media Conversations

Katherine Atwell, Sabit Hassan+1 more|arXiv (Cornell University)|Sep 17, 2022

Hate Speech and Cyberbullying Detection被引用数 11

ひとこと要約

本稿では、ペン・ディス course ツリー・バンクおよび修辞的構造理論（RST）からのディス course リレーションを統合することで、意味的意味を保持しつつRedditのコメントの攻撃的表現を軽減する、ディス course 意識型のTransformerベースのスタイル変換モデルであるAPPDIAを紹介する。人間評価において、コンテンツの保持（48%対36%）と一貫性（37%対32%）の両面で顕著な向上が得られ、特に明示的なディス course 構造を有するコメントにおいて顕著であった。

ABSTRACT

Using style-transfer models to reduce offensiveness of social media comments can help foster a more inclusive environment. However, there are no sizable datasets that contain offensive texts and their inoffensive counterparts, and fine-tuning pretrained models with limited labeled data can lead to the loss of original meaning in the style-transferred text. To address this issue, we provide two major contributions. First, we release the first publicly-available, parallel corpus of offensive Reddit comments and their style-transferred counterparts annotated by expert sociolinguists. Then, we introduce the first discourse-aware style-transfer models that can effectively reduce offensiveness in Reddit text while preserving the meaning of the original text. These models are the first to examine inferential links between the comment and the text it is replying to when transferring the style of offensive Reddit text. We propose two different methods of integrating discourse relations with pretrained transformer models and evaluate them on our dataset of offensive comments from Reddit and their inoffensive counterparts. Improvements over the baseline with respect to both automatic metrics and human evaluation indicate that our discourse-aware models are better at preserving meaning in style-transferred text when compared to the state-of-the-art discourse-agnostic models.

研究の動機と目的

• ソーシャルメディアにおける攻撃的表現から攻撃的でない表現へのスタイル変換のための、並列で専門家がアノテートしたデータセットが不足しているという問題に対処すること。
• 攻撃的Redditコメントのスタイル変換において、ディス course 構造を統合することで意味的コンテンツの保持を向上させること。
• コメントとその親投稿の間の推論的リンクを活用するディス course 意識型のTransformerモデルの開発と評価。
• ディス course 意識型モデルが自動評価および人間評価の両方で、ディス course 無視型のベースラインを上回ることを示すこと。
• 攻撃的Redditコメントに、攻撃的でない対応物およびディス course 関係タグを付与した、最初の公開可能な専門家アノテート済みデータセットをリリースすること。

提案手法

• 専門家の社会言語学者を用いて、約2,000件の攻撃的Redditコメントを攻撃的でない対応物とアノテートし、並列コーパスを構築する。
• 個々のコメント内でのペン・ディス course ツリー・バンク（PDTB）関係を統合し、内部のディス course 構造をモデル化する。
• コメントと親投稿のペアを、修辞的構造理論（RST）のディス course 樹形図を用いて解析し、文間関係をモデル化する。
• ディス course 意識型アテンション機構を備えた事前学習済みTransformerモデル（例：BART、T5）を微調整し、スタイル変換をガイドする。
• 内部関係を用いるバージョンと、文間RST関係を用いるバージョンの2つの異なるディス course 意識型モデルを別々に訓練する。
• コンテンツ保持性、一貫性、全体的な好みの評価を含む、自動評価および人間評価を用いてモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 スタイル変換モデルにおけるディス course 意識型統合は、ディス course 無視型ベースラインと比較して、意味的コンテンツ保持性を向上させることができるか？
• RQ2 コメント内にディス course 関係が存在する場合、スタイル変換モデルの性能にどのような影響を与えるか？
• RQ3 複数のディス course フレームワーク（例：PDTBとRST）を組み合わせることで、単一のフレームワークを用いる場合よりもコンテンツ保持性が向上するか？
• RQ4 ディス course パースングが、攻撃的でないスタイルに変換されたコメントの一体性と意味的正確性を向上させることができるか？
• RQ5 攻撃的表現から攻撃的でない表現へのスタイル変換において、ディス course 統合が、特に明示的な推論的または修辞的リンクを持つコメントに対して顕著に効果を発揮するか？

主な発見

• ディス course 意識型モデルはコンテンツ保持性について48%の選好率を達成し、ディス course 無視型ベースラインの36%を顕著に上回った。
• ディス course 関係を含むコメントでは、ディス course 意識型モデルのコンテンツ保持性についての選好率は56%にのぼり、ベースラインの30%を上回った。
• ディス course 意識型モデルは、一貫性について37%の評価を得たのに対し、ベースラインは32%であった。コンテンツ保持性への影響が特に顕著であった。
• 人間評価では、ディス course 意識型モデルが全体的に40%の選好を得たのに対し、ベースラインは29%であった。
• 結果から、推論的または修辞的リンクが明示的に存在するコメントにおいて、ディス course 統合が特に有効であることが示された。
• 本研究は、標準的な微調整済みTransformerとは異なり、ディス course 意識型モデルが攻撃的表現から攻撃的でない表現へのスタイル変換において、意味的意味をよりよく保持できることを確認した。