[論文レビュー] PO-EMO: Conceptualization, Annotation, and Modeling of Aesthetic Emotions in German and English Poetry

Thomas Haider, Steffen Eger+3 more|TUbilio (Technical University of Darmstadt)|Mar 17, 2020

Sentiment Analysis and Opinion Mining参考文献 55被引用数 9

ひとこと要約

この論文は、詩の読者に引き起こされる反応に焦点を当て、著者の意図ではなく、ドイツ語および英語の詩における美的感情を概念化・アノテーション・モデリングするための新しいフレームワークPO-EMOを紹介する。10の美的感情カテゴリーを有するマルチラベルアノテーションスキームを提示し、熟練者間で著しい合意度（κ = .70）を達成した。また、BERTを用いた感情認識の難易度を示し、ドイツ語のサブセットではF1-microが最大.52にとどまることが明らかになった。これは文学における美的感情分析の新しいベンチマークを提供する。

ABSTRACT

Most approaches to emotion analysis of social media, literature, news, and other domains focus exclusively on basic emotion categories as defined by Ekman or Plutchik. However, art (such as literature) enables engagement in a broader range of more complex and subtle emotions. These have been shown to also include mixed emotional responses. We consider emotions in poetry as they are elicited in the reader, rather than what is expressed in the text or intended by the author. Thus, we conceptualize a set of aesthetic emotions that are predictive of aesthetic appreciation in the reader, and allow the annotation of multiple labels per line to capture mixed emotions within their context. We evaluate this novel setting in an annotation experiment both with carefully trained experts and via crowdsourcing. Our annotation with experts leads to an acceptable agreement of kappa = .70, resulting in a consistent dataset for future large scale analysis. Finally, we conduct first emotion classification experiments based on BERT, showing that identifying aesthetic emotions is challenging in our data, with up to .52 F1-micro on the German subset. Data and resources are available at https://github.com/tnhaider/poetry-emotion

研究の動機と目的

• 基本的な感情（喜びや恐怖など）をはるかに超える、詩における美的感情の包括的かつ概念的な定式化を図ること。
• 詩に表現された感情や著者の意図ではなく、読者に引き起こされる複雑な感情反応を捉えるマルチラベルアノテーションスキームの構築。
• ドイツ語および英語の詩における美的感情のアノテーションの信頼性を、熟練者およびクラウドソーシングによるアノテーションで評価すること。
• 将来の大規模な文学的文脈における美的感情分析のための高品質で一貫性のあるデータセットの確立。
• 深層学習、特にBERTベースのアプローチを用いた美的感情のモデリングの可能性の評価。

提案手法

• 心理的芸術受容研究に基づき、10の美的感情カテゴリー（美しさ／喜び、悲しみ、不快感、活力／エネルギー、緊張感、畏敬／壮大、ユーモア、不快感、ノスタルジー）を定義する。
• アノテーションは詩の行単位で実施され、1行に複数の感情ラベルを付与することで、文脈的混合感情反応を捉える。
• 熟練者によるアノテーションは、詳細なガイドラインに従い、熟練者間合意度はFleissのカッパ（κ = .70）で測定される。
• アノテーションプロセスの妥当性とスケーラビリティを検証するため、ゴールドスタンダードアノテーションは熟練者による合意に基づき収集されたクラウドソーシングを用いる。
• アノテート済みの詩データに対して、BERTベースのシーケンス分類モデルを微調整し、マルチラベル感情認識を実行する。
• データセットはhttps://github.com/tnhaider/poetry-emotionにて公開され、再現性および今後の研究を促進する。

実験結果

リサーチクエスチョン

• RQ1 美的感情を、喜びや恐怖といった基本的 emotion カテゴリをはるかに超えるように、どのように概念的に定義できるか？
• RQ2 詩的テキストの行単位で、複数の混合感情を信頼性を持ってアノテートできる範囲はどの程度か？
• RQ3 熟練読者間で美的感情のアノテーションにおいて、どの程度の合意度が達成できるか？
• RQ4 最新のNLPモデル（例：BERT）は、詩における美的感情認識においてどの程度有効か？
• RQ5 マルチラベルアノテーションスキームは、文学的テキストにおける読者に引き起こされる感情反応の複雑さを捉えることができるか？

主な発見

• 熟練者によるアノテーションデータセットは、κ = .70という著しい熟練者間合意度を達成しており、美的感情のアノテーションが信頼的かつ一貫的に行われていることを示している。
• アノテーションプロセスは、ホルダーリン、トラクル、ホイットマンの詩において、1行に複数のラベルが付与された事例を通じて、混合感情反応を効果的に捉えていることが実証された。
• BERTベースの感情分類モデルは、ドイツ語の詩サブセットで最大F1-microスコア.52を達成しており、高品質なデータにもかかわらず、このタスクの難易度が顕著に示されている。
• データセットは、畏敬／壮大、ノスタルジー、緊張感といった美的感情が頻繁に存在し、しばしば悲しみや美しさ／喜びといった他の感情と併存していることを明らかにした。
• アノテーションガイドラインおよびゴールドスタンダードデータは公開されており、今後の美的感情認識および文学的感情分析分野の研究を促進する。
• 本研究は、詩における読者に引き起こされる感情反応が、複雑で文脈依存的であり、従来の基本的 emotion モデルでは十分に捉えきれないことを示した。