[论文解读] Interpreting the Syntactic and Social Elements of the Tweet Representations via Elementary Property Prediction Tasks

J Ganesh, Manish Gupta+1 more|arXiv (Cornell University)|Nov 15, 2016

Topic Modeling参考文献 10被引用 3

一句话总结

本文通过探测句法（如长度、词序、俚语、话题标签、命名实体）和社会属性（如回复状态、回复时间）等基本属性，引入了一组用于解释推文表征的简单属性预测任务。使用9种无监督模型和4种有监督模型，研究发现循环神经网络模型（如BLSTM和LSTM）最能捕捉句法与社会特征，而BOW模型尽管丢失了序列信息，却在词序预测任务中表现惊人出色。

ABSTRACT

Research in social media analysis is experiencing a recent surge with a large number of works applying representation learning models to solve high-level syntactico-semantic tasks such as sentiment analysis, semantic textual similarity computation, hashtag prediction and so on. Although the performance of the representation learning models are better than the traditional baselines for the tasks, little is known about the core properties of a tweet encoded within the representations. Understanding these core properties would empower us in making generalizable conclusions about the quality of representations. Our work presented here constitutes the first step in opening the black-box of vector embedding for social media posts, with emphasis on tweets in particular. In order to understand the core properties encoded in a tweet representation, we evaluate the representations to estimate the extent to which it can model each of those properties such as tweet length, presence of words, hashtags, mentions, capitalization, and so on. This is done with the help of multiple classifiers which take the representation as input. Essentially, each classifier evaluates one of the syntactic or social properties which are arguably salient for a tweet. This is also the first holistic study on extensively analysing the ability to encode these properties for a wide variety of tweet representation models including the traditional unsupervised methods (BOW, LDA), unsupervised representation learning methods (Siamese CBOW, Tweet2Vec) as well as supervised methods (CNN, BLSTM).

研究动机与目标

• 理解核心句法与社会属性在推文表征中如何被编码，超越高层次任务性能的考量。
• 通过引入细粒度、与应用无关的探测任务，解决神经推文表征模型的不透明性问题。
• 在推文的多种内在属性上，对比传统、无监督与有监督的表征学习模型。
• 探究模型架构与训练目标如何影响短篇非正式文本中结构化与社会特征的编码。

提出的方法

• 定义八项基本属性预测任务：推文长度、内容存在性、词序、俚语标准化、话题标签检测、命名实体识别、回复状态与回复时间。
• 使用两层神经网络分类器（表征 + softmax）从推文表征中预测每一项属性。
• 针对每项任务，采用负采样或分箱策略构建平衡的训练数据（例如，将推文长度按每4个词为一组分箱）。
• 当涉及多个输入时（如词序任务），将嵌入表示拼接（例如，拼接两个词的表示）。
• 评估13种模型：9种无监督模型（BOW, LDA, BOM, DSSM, CDSSM, PV, STV, SCBOW, T2V）与4种有监督模型（CNN, LSTM, BLSTM, FT）。
• 使用F1-score比较不同模型与任务间的性能表现，并分析对词序与推文长度的敏感性。

实验结果

研究问题

• RQ1 不同推文表征模型中，哪些句法与社会属性被有效编码？
• RQ2 有监督模型与无监督模型在保留推文基本属性方面的能力有何差异？
• RQ3 不同表征模型中词序的保留程度如何？这对依赖顺序的任务性能有何影响？
• RQ4 推文长度如何影响不同模型在基本属性预测任务中的准确性？
• RQ5 基本属性任务上的表现能否预测某模型在下游社交媒体应用（如用户画像或对话建模）中的适用性？

主要发现

• BLSTM在'命名实体'任务上取得最高F1得分（92.76%），甚至优于专门设计的T2V模型。
• LSTM与BLSTM在'长度'与'是否回复'任务上的F1得分均超过99%，表明其对推文长度与社会结构具有极强的编码能力。
• BOW在'词序'任务上表现惊人出色（F1得分为99.79%），表明词频模式与序列结构之间存在强烈相关性。
• LDA对词序完全不敏感，其在'词序'任务上的表现接近零（F1 < 10），这与基于词袋假设的预期一致。
• CNN、LSTM与BLSTM对词序高度敏感，当词序被反转时，性能显著下降。
• STV与T2V等模型在大多数任务上表现欠佳，其中T2V甚至低于基线模型，可能由于预训练阶段过度拟合于话题标签预测。