[论文解读] A Pointillism Approach for Natural Language Processing of Social Media

Peiyou Song, Anhei Shu+3 more|arXiv (Cornell University)|Jun 21, 2012

Complex Network Analysis Techniques参考文献 20被引用 7

一句话总结

本文提出一种点彩画法（pointillism）的中文社交媒体自然语言处理方法，将字符三元组（trigrams）作为基本单位，而非词语。通过分析时间序列中的共现模式，该方法在无需预定义词典的前提下，实现了高精度——四字成语的精确率为0.93，较长短语的精确率为0.87，成功重建了复杂的语言单位，证明了其在处理复杂语言环境（如非正式、创造性语言）中的可行性。

ABSTRACT

The Chinese language poses challenges for natural language processing based on the unit of a word even for formal uses of the Chinese language, social media only makes word segmentation in Chinese even more difficult. In this document we propose a pointillism approach to natural language processing. Rather than words that have individual meanings, the basic unit of a pointillism approach is trigrams of characters. These grams take on meaning in aggregate when they appear together in a way that is correlated over time. Our results from three kinds of experiments show that when words and topics do have a meme-like trend, they can be reconstructed from only trigrams. For example, for 4-character idioms that appear at least 99 times in one day in our data, the unconstrained precision (that is, precision that allows for deviation from a lexicon when the result is just as correct as the lexicon version of the word or phrase) is 0.93. For longer words and phrases collected from Wiktionary, including neologisms, the unconstrained precision is 0.87. We consider these results to be very promising, because they suggest that it is feasible for a machine to reconstruct complex idioms, phrases, and neologisms with good precision without any notion of words. Thus the colorful and baroque uses of language that typify social media in challenging languages such as Chinese may in fact be accessible to machines.

研究动机与目标

• 为解决中文中词语切分的挑战，特别是社交媒体非正式文本中词语边界模糊的问题。
• 探索是否可以在不依赖预定义词典的前提下，重建如成语和新造词等有意义的语言单位。
• 评估将字符三元组作为低资源、高变异性语言环境（如社交媒体）中NLP的基本单位的可行性。
• 证明三元组的时间共现模式能够有效捕捉并重建复杂短语，且精确率较高。

提出的方法

• 该方法使用字符三元组（3个字符的序列）作为分析的基本单位，而非词语。
• 将语言意义建模为三元组序列在时间上相关联的集体出现所涌现的产物。
• 采用无约束精确率度量，即使重建结果与标准词典形式不完全一致，只要正确即可被接受。
• 利用社交媒体中的大规模时间序列数据，识别出稳定且反复出现的三元组模式，这些模式对应于有意义的短语。
• 通过聚合和排序在时间上表现出一致共现的三元组聚类，实现对长语句的重建。
• 使用真实社交媒体数据和Wiktionary整理的短语列表进行性能评估，重点关注频率与重复性。

实验结果

研究问题

• RQ1 中文文本中的三元组模式是否可用于在不依赖词语切分的前提下，重建如成语和新造词等复杂语言单位？
• RQ2 三元组的时间共现模式在多大程度上能够捕捉并表征非正式社交媒体语言中的有意义短语？
• RQ3 在低资源、高变异性环境下，三元组基重建方法与传统基于词语的NLP方法相比，性能如何？
• RQ4 当确切的词语边界未知或模糊时，该方法是否仍能实现高精确率识别短语？

主要发现

• 对于单日内出现至少99次的四字成语，基于三元组的重建方法无约束精确率达到0.93。
• 对于从Wiktionary收集的更长短语和新造词，无约束精确率为0.87，表明在多样化语言形式上表现优异。
• 该方法在无需事先了解词语边界或词典知识的前提下，成功重建了复杂的成语和新颖短语。
• 三元组的时间共现模式足以识别并高精度重建有意义的语言单位。
• 结果表明，点彩画法在处理中文社交媒体中富有创意、繁复且非正式的语言方面具有可行性。
• 该方法表明，通过小字符单元的基于模式的聚合，机器理解具有挑战性的非标准语言形式是可行的。