[論文レビュー] HappyDB: A Corpus of 100,000 Crowdsourced Happy Moments

Akari Asai, Sara Evensen+8 more|arXiv (Cornell University)|Jan 23, 2018

Sentiment Analysis and Opinion Mining参考文献 11被引用数 32

ひとこと要約

HappyDB は、24時間または3か月間の自己報告によるリフレクション期間を通じて収集された、10万件のクラウドソーシングによる幸せな瞬間の公開コーパスである。本論文では、活動および参加者ラベルが付与された言語的に多様なデータセットを提示し、標準的なNLP技術が洗練された感情表現に対しては困難を示すことを示しており、感情計算およびポジティブ心理学の応用分野におけるより深い文脈理解の必要性を強調している。

ABSTRACT

The science of happiness is an area of positive psychology concerned with understanding what behaviors make people happy in a sustainable fashion. Recently, there has been interest in developing technologies that help incorporate the findings of the science of happiness into users' daily lives by steering them towards behaviors that increase happiness. With the goal of building technology that can understand how people express their happy moments in text, we crowd-sourced HappyDB, a corpus of 100,000 happy moments that we make publicly available. This paper describes HappyDB and its properties, and outlines several important NLP problems that can be studied with the help of the corpus. We also apply several state-of-the-art analysis techniques to analyze HappyDB. Our results demonstrate the need for deeper NLP techniques to be developed which makes HappyDB an exciting resource for follow-on research.

研究の動機と目的

• 自然に発現する幸せな瞬間を、多様な言語的形態で表現した大規模かつ公開可能なコーパスの開発。
• 自然言語処理（NLP）を用いて、幸せな瞬間の記述における主な活動および参加者を特定する際の課題の解明。
• 自然言語における感情表現、センチメント分析、幸せの行動的トリガーに関する研究を可能にする。
• 個人に合わせた行動ベースの干渉によって、持続可能な幸せを理解し促進できるAIシステムの開発を支援する。

提案手法

• Amazon Mechanical Turkを用いて、24時間または3か月前の幸せな経験を記述する形で、10万件の幸せな瞬間をクラウドソーシング。
• 合意ラベル化によるデータ収集とクリーニングを行い、少なくとも3名のアノテーターが同意した反応のみを保持。
• 1万5千件の瞬間のサブセットを、活動カテゴリ（例：達成、愛情、レクリエーション）および参加者役割でアノテート。
• BERTベースのモデルを用いてマルチクラステキスト分類器を訓練し、5分割交差検証を用いて性能を評価。
• 完全なコーパス、アノテーション、ベースライン予測を公開し、再現性およびさらなる研究を支援。
• 24時間および3か月のリフレクション期間の比較分析を実施し、幸せの表現における時間的シフトを検討。

実験結果

リサーチクエスチョン

• RQ1 短い自然言語記述における幸せの表現を特徴付ける言語的パターンおよび意味的特徴は何か？
• RQ2 短期的（24時間）および長期的（3か月）のリフレクション期間において、幸せな瞬間の頻度および種別はどのように異なるか？
• RQ3 最新のNLPモデルが、明示的な文脈なしで幸せな瞬間の核心的な活動および参加者をどれほど正確に分類できるか？
• RQ4 クラウドソーシングによる自己報告において、幸せの主な要因は何か？また、それらはデモグラフィック要因や時間的次元によってどのように変化するか？
• RQ5 このコーパスは、自然言語入力をもとに幸せを高める行動を推奨するシステムの開発を支援できるか？

主な発見

• 24時間のリフレクション期間では、『レクリエーション』、『運動』、『自然』に関連する瞬間が3か月期間よりも顕著に多く、短期的な幸せがしばしば即時の感覚的・身体的体験と結びついていることを示している。
• 3か月のリフレクション期間では、『達成』および『愛情』のカテゴリの瞬間の割合が高かった。これは、長期的な幸せが個人の達成や人間関係の絆と密接に関連している可能性を示唆している。
• 分類器のF1スコアは『絆を築く』で89.4、『愛情』で92.0であったが、『今を楽しむ』では54.0、『レクリエーション』では72.1にとどまり、洗練された感情状態は正確に分類するのが難しいことを示している。
• 高性能と低性能のカテゴリ間のスコア差（例：『今を楽しむ』で54.0 vs. 『愛情』で92.0）は、語彙分布だけでは微妙な感情的差異を捉えるのに不十分であることを示している。
• 2つのリフレクション期間間でカテゴリの分布に統計的に有意な差異（p < 10−5）が認められたが、『絆を築く』を除き、その他のカテゴリでは変化が見られた。
• 正解ラベルおよびベースライン予測の公開により、研究者が短いテキストにおける感情および活動認識のためのモデルをベンチマーク化・改善可能となった。