[論文レビュー] Annotation of Emotion Carriers in Personal Narratives

Aniruddha Tammewar, Alessandra Cervone+2 more|arXiv (Cornell University)|Feb 27, 2020

Sentiment Analysis and Opinion Mining参考文献 41被引用数 8

ひとこと要約

本稿では、話された個人的物語における感情の原因や説明を示すテキスト断片（感情の担い手）を特定するための新しいアノテーションスキームを提案する。ドイツ語のUSoMSコーパスを用い、4名のアノテーターが転写済み物語における感情の担い手をアノテートした結果、主観的であるにもかかわらず内容語の重なりが顕著に見られた。分析の結果、『ähm』などのフィラーが感情の担い手の周辺に頻繁に現れる傾向が示され、自動感情担い手検出のための位置的パターンが物語理解システムにおいて有用である可能性が示唆された。

ABSTRACT

We are interested in the problem of understanding personal narratives (PN) - spoken or written - recollections of facts, events, and thoughts. In PN, emotion carriers are the speech or text segments that best explain the emotional state of the user. Such segments may include entities, verb or noun phrases. Advanced automatic understanding of PNs requires not only the prediction of the user emotional state but also to identify which events (e.g. "the loss of relative" or "the visit of grandpa") or people ( e.g. "the old group of high school mates") carry the emotion manifested during the personal recollection. This work proposes and evaluates an annotation model for identifying emotion carriers in spoken personal narratives. Compared to other text genres such as news and microblogs, spoken PNs are particularly challenging because a narrative is usually unstructured, involving multiple sub-events and characters as well as thoughts and associated emotions perceived by the narrator. In this work, we experiment with annotating emotion carriers from speech transcriptions in the Ulm State-of-Mind in Speech (USoMS) corpus, a dataset of German PNs. We believe this resource could be used for experiments in the automatic extraction of emotion carriers from PN, a task that could provide further advancements in narrative understanding.

研究の動機と目的

• 話された個人的物語における感情の担い手を系統立てて特定するためのフレームワークを構築すること。これは、複雑で非構造的かつ感情に富んだテキストである。
• 感情分類の枠を超えて、感情状態の原因や誘発要因を特定する具体的なテキスト断片を同定することによる、感情分析のギャップを埋めること。
• 長編で複数のサブイベントと感情を含む、主観的で困難なタスクにおけるアノテーター間整合性とアノテーション品質を評価すること。
• 言語的手がかり（例：不順応、例：フィラー）が感情の担い手と系統的に関連しているかどうかを調査し、自動検出に役立つ可能性を検討すること。
• 個人的物語における感情の担い手抽出のための自動システムのトレーニングおよび評価リソースを整備し、より深い物語理解を支援すること。

提案手法

• USoMSコーパスの話された個人的物語の転写文を対象に、4名のアノテーターが、物語の語り手の感情状態を説明する最も適切なテキスト断片（感情の担い手）を手動でアノテートした。
• 感情の担い手は、語り手の感情の原因や誘発要因を示す動詞、名詞、句を含む複数語のスパンとして定義した（例：'Praktikum' や 'positive Aufregung'）。
• 信頼性を評価するため、標準的な指標を用いてアノテーター間整合性を計算し、重複アノテーションの定性的分析により一貫性を検証した。
• 物語構造全体における感情の担い手の分布を分析するため、平均的位置とクラスタリングの位置的パターンを調査する位置的分析を実施した。
• フィラー（例：'ähm', 'äh', 'mhm'）を不順応として特定し、各感情の担い手の前後±5語の範囲内で、その相対的位置を分析した。
• 制御実験として、フィラーと感情の担い手の距離関係を、ランダムに選択した内容語（名詞、形容詞、動詞、副詞）との距離と比較し、観察された位置的パターンの有意性を検証した。

実験結果

リサーチクエスチョン

• RQ1 話された個人的物語における感情の担い手の特定において、アノテーター間整合性はどの程度であり、複数のアノテーター間で一貫性は保たれているか？
• RQ2 感情の担い手は物語構造全体に均等に分布しているのか、それとも特定の領域（例：冒頭、中盤、終盤）に集中しているのか？
• RQ3 話された物語において、不順応（例：フィラー）と感情の担い手の間に統計的に有意な位置的関連性が存在するか？
• RQ4 個人的物語における感情の担い手は、機能語よりも内容語（例：名詞、動詞）である傾向が強く、その影響が検出に与える影響は何か？
• RQ5 フィラーと感情の担い手との距離が、物語理解システムにおける自動感情担い手抽出の信頼できるシグナルとして機能するか？

主な発見

• 主観的タスクであるにもかかわらず、アノテーター間整合性は中程度に保たれ、アノテーター間で内容語の重なりが顕著に見られた。これは、意味的な感情の担い手を一貫して特定できていることを示している。
• 感情の担い手は物語の中盤に最も多くアノテートされており、平均位置は物語の中心に近く、感情表現における中心的役割を果たしている可能性が示唆された。
• フィラー（例：'ähm', 'äh'）は、感情の担い手の+2位置で最も頻繁に出現（7%のケース）し、+1、+3および-1、-4の位置でも有意にクラスタリングが観察された。
• ランダムな内容語と比較して、フィラーは感情の担い手に著しく近接する頻度を示しており、非ランダムな位置的関連性があることが示された。
• 分析の結果、感情の担い手はしばしば内容語（例：'Praktikum'（インターンシップ）、'positive Aufregung'（ポジティブな興奮））から構成されており、出来事や感情表現が重要な担い手であることが明らかになった。
• フィラーと感情の担い手の間の観察されたパターンは、不順応が認知的・感情的処理の瞬間を示す可能性があり、話された物語における感情的意図のモデリングに役立つ可能性を支持する。