[論文レビュー] CruzAffect at AffCon 2019 Shared Task: A feature-rich approach to characterize happiness

Jiaqi Wu, Ryan Compton+4 more|arXiv (Cornell University)|Feb 16, 2019

Mental Health via Writing参考文献 12被引用数 3

ひとこと要約

本稿では、HappyDBデータセットからのテキストスニペットにおける幸福の分類を、教師ありおよび半教師あり学習を用いて行う、特徴豊富なCruzAffectを提示する。構文的特徴、感情的特徴、プロファイル特徴、および単語埋め込み特徴をXGBoostおよびCNNモデルと組み合わせ、二値分類（機械的能動性、社会的）および多クラス分類（概念）の両方で優れた性能を達成した。クラス間で共通する言語的パターンは、幸福度モデリングに一般化可能な特徴を示している。

ABSTRACT

We present our system, CruzAffect, for the CL-Aff Shared Task 2019. CruzAffect consists of several types of robust and efficient models for affective classification tasks. We utilize both traditional classifiers, such as XGBoosted Forest, as well as a deep learning Convolutional Neural Networks (CNN) classifier. We explore rich feature sets such as syntactic features, emotional features, and profile features, and utilize several sentiment lexicons, to discover essential indicators of social involvement and control that a subject might exercise in their happy moments, as described in textual snippets from the HappyDB database. The data comes with a labeled set (10K), and a larger unlabeled set (70K). We therefore use supervised methods on the 10K dataset, and a bootstrapped semi-supervised approach for the 70K. We evaluate these models for binary classification of agency and social labels (Task 1), as well as multi-class prediction for concepts labels (Task 2). We obtain promising results on the held-out data, suggesting that the proposed feature sets effectively represent the data for affective classification tasks. We also build concepts models that discover general themes recurring in happy moments. Our results indicate that generic characteristics are shared between the classes of agency, social and concepts, suggesting it should be possible to build general models for affective classification tasks.

研究の動機と目的

• 異なる幸福度の次元における幸福な瞬間を区別するための一般的な言語的および感情的特徴を同定すること。
• 構文的、感情的、プロファイル、埋め込みの多様な特徴タイプが、幸福関連テキストにおける感情分類にどの程度有効であるかを評価すること。
• 二値ラベル（機械的能動性、社会的）で学習したモデルが、多クラス概念予測に一般化できるかを調査すること。
• 構文的パターンと語彙リストが、幸福の心理的構造をどのように捉えられるかを検討すること。
• 7万件のラベルなしインスタンスを活用する半教師ありフレームワークを構築し、1万件のラベル付きデータセットを超えて一般化性能を向上させること。

提案手法

• HappyDBからラベル付き（1万件）およびラベルなし（7万件）のデータを用いた、三段階のブートストラップ半教師あり学習パイプラインを採用した。
• 品詞タギングを用いて、品詞、時制、アスペクト、疑問文構造を含む36種類の構文的特徴を抽出した。
• LIWC v2007、EmoLex、主観性語彙リスト、および独自の感情-事実レジRESSIONモデルから94種類の感情的特徴を統合した。
• 100次元のGloVe単語埋め込みを用いて、テキストの分散意味表現を実現した。
• 国、年齢などのスパースなプロファイル特徴を言語ベースのカテゴリに変換し、スパarsityを低減するとともに一般化性能を向上させた。
• 組み合わせた特徴セットを用いてXGBoostedフォレストおよびCNN分類器を訓練し、評価には10分割交差検証を適用した。

実験結果

リサーチクエスチョン

• RQ1 構文的特徴および感情的特徴は、単語埋め込み特徴よりも優れているか、あるいはそれを補完するか？
• RQ2 プロファイル特徴は感情分類を向上させることができるか？もしそうなら、どの程度の細分化粒度で効果を示すか？
• RQ3 二値ラベル（機械的能動性、社会的）で学習したモデルは、多クラス概念予測に効果的に一般化できるか？
• RQ4 家族、キャリア、宗教といった概念を区別するための構文的パターンは何か？
• RQ5 機械的能動性、社会的、概念の各クラス間で共通する言語的および感情的特徴は、一般化可能な感情分類モデルを支えるものか？

主な発見

• 構文的および感情的特徴は非常に情報量が多く、特に幸福の文脈特異的マーカーを捉えるうえで、単語埋め込み特徴を上回ることが多かった。
• プロファイル特徴は個別には予測力が限定的であったが、他の特徴と組み合わせるとわずかな改善を示した。これは、人口統計的文脈が強力な性能を発揮する上で必須ではないことを示唆している。
• XGBoostedフォレストとCNN分類器の両方とも競争的な結果を達成した。XGBoostは二値分類で優れた性能を示し、CNNは多クラス概念予測および半教師あり学習で強力な性能を発揮した。
• 家族、キャリア、ショッピングといった概念のための最も頻出する構文的パターンは明確で、予測可能であり、パターン多様性は高く、標準偏差は低く、強力で一貫性のある言語的マーカーであることが示された。
• 宗教およびテクノロジーはパターン多様性と頻度が共に高かったが、宗教はより典型的で高頻度のパターン（例：'WENT TO'）を示しており、より高い判別力を持つことが示された。
• 機械的能動性、社会的、概念の各タスク間で共通する言語的パターン、特に構文構造および感情語彙の使用に関するパターンは、感情分類の一般化可能なモデルを支える、一般的な構成的特徴が存在することを示している。