[論文レビュー] A Neural Approach to Irony Generation

Mengdi Zhu, Zhiwei Yu+1 more|arXiv (Cornell University)|Sep 13, 2019

Sentiment Analysis and Opinion Mining参考文献 25被引用数 6

ひとこと要約

本稿では、強化学習を用いたsequence-to-sequenceモデルを用いて、262,755件の皮肉的つぶやきと112,330件の非皮肉的つぶやきを含む大規模なTwitterベースのデータセットを活用し、皮肉表現を生成する初のニューラルアプローチを提案する。皮肉の正確性、感情の保持、コンテンツの整合性を考慮した新しい報酬の組み合わせを導入し、意味的に整合性があり感情が一貫した皮肉表現の生成において、最先端の性能を達成した。

ABSTRACT

Ironies can not only express stronger emotions but also show a sense of humor. With the development of social media, ironies are widely used in public. Although many prior research studies have been conducted in irony detection, few studies focus on irony generation. The main challenges for irony generation are the lack of large-scale irony dataset and difficulties in modeling the ironic pattern. In this work, we first systematically define irony generation based on style transfer task. To address the lack of data, we make use of twitter and build a large-scale dataset. We also design a combination of rewards for reinforcement learning to control the generation of ironic sentences. Experimental results demonstrate the effectiveness of our model in terms of irony accuracy, sentiment preservation, and content preservation.

研究の動機と目的

• 大規模な皮肉データセットの不足と、自然言語における皮肉的パターンのモデリングの難しさに対処すること。
• 皮肉生成をポリティカル・コントラスト型の口語的皮肉に焦点を当てたスタイル転送タスクとして定式化すること。
• 非皮肉的文を皮肉的文に変換する際、感情とコンテンツを保持するニューラルsequence-to-sequenceモデルを開発すること。
• 皮肉の正確性、感情、コンテンツ保持のための専用報酬を備えたマルチオブジェクティブ強化学習フレームワークを設計すること。
• 初の大規模皮肉データセットを公開し、今後の皮肉生成研究のベンチマークを確立すること。

提案手法

• Twitterから200万件以上のつぶやきをクロールし、262,755件の皮肉的、112,330件の非皮肉的例を含む大規模データセットを構築した。
• 非皮肉的から皮肉的スタイルへの非教師付きスタイル転送を実行するため、強化学習を用いたsequence-to-sequenceモデルを提案した。
• 皮肉報酬（分類器を介して）、感情報酬（極性の一貫性のため）、コンテンツ報酬（ノイズ除去オートエンコーダーとバックトランスレーションを介して）を組み合わせたマルチコンponent報酬関数を設計した。
• 生成品質と安定性を向上させるために、事前学習と強化学習による微調整を統合した。
• 再帰的単語生成を抑えるために、デコード段階で語の繰り返しペナルティを実装した。
• 皮肉的から非皮肉的文への双方向変換を検討し、モデルの頑健性と一般化能力を評価した。

実験結果

リサーチクエスチョン

• RQ1 非皮肉的入力から皮肉的文を生成する際、感情とコンテンツを保持しつつ、ニューラルsequence-to-sequenceモデルが効果的に皮肉的表現を生成できるか？
• RQ2 複数の報酬信号を効果的に統合することで、強化学習を用いて生成出力における皮肉性、感情、コンテンツを制御できるか？
• RQ3 皮肉生成における主な失敗モードは何か、そしてそれらはどのように緩和できるか？
• RQ4 ソーシャルメディアデータから大規模かつ現実的な皮肉データセットを構築できるか？
• RQ5 皮肉的文を非皮肉的文に変換する逆方向タスクにおいて、モデルはどのように動作するか？

主な発見

• 提案モデルは高い皮肉正確性を達成するとともに、感情とコンテンツの保持が強く維持されており、既存の生成モデルを上回る性能を示した。
• 皮肉、感情、コンテンツ報酬の組み合わせは、単一または二重報酬を使用するモデルと比較して、生成品質を顕著に向上させた。
• 人的評価では、非皮肉的から皮肉的への変換タスクにおいて、感情とコンテンツ保持の観点でモデルが2位にランクされた。
• モデルは体系的な誤りを示しており、特に感情を表さない語の置換が不適切に発生するなど、語の繰り返しや誤った語の置換が見られた。
• 逆方向生成タスク（皮肉的から非皮肉的）では、コンテンツと感情の保持は可能であるが、皮肉の正確性に欠けることが判明し、逆変換の学習に課題があることが示された。
• 公開された375,085件のつぶやき（皮肉的262,755件、非皮肉的112,330件）のデータセットは、今後の皮肉生成研究における貴重なベンチマークを提供する。