[论文解读] How much is said in a microblog? A multilingual inquiry based on Weibo and Twitter

Han‐Teng Liao, King‐Wa Fu+1 more|arXiv (Cornell University)|Jun 1, 2015

Wikis in Education and Collaboration参考文献 21被引用 2

一句话总结

本研究利用平行语料（《世界人权宣言》和TED演讲字幕），通过测量字符、字节和信息量，调查了在Twitter和微博上，英语、中文和日语的微博每条信息所传递的信息量。研究发现，由于信息密度更高以及平台特定的字节限制，中文和日语微博每条信息传递的信息量显著高于英语，挑战了不同语言在数字通信中具有普遍字符限制的假设。

ABSTRACT

This paper presents a multilingual study on, per single post of microblog text, (a) how much can be said, (b) how much is written in terms of characters and bytes, and (c) how much is said in terms of information content in posts by different organizations in different languages. Focusing on three different languages (English, Chinese, and Japanese), this research analyses Weibo and Twitter accounts of major embassies and news agencies. We first establish our criterion for quantifying "how much can be said" in a digital text based on the openly available Universal Declaration of Human Rights and the translated subtitles from TED talks. These parallel corpora allow us to determine the number of characters and bits needed to represent the same content in different languages and character encodings. We then derive the amount of information that is actually contained in microblog posts authored by selected accounts on Weibo and Twitter. Our results confirm that languages with larger character sets such as Chinese and Japanese contain more information per character than English, but the actual information content contained within a microblog text varies depending on both the type of organization and the language of the post. We conclude with a discussion on the design implications of microblog text limits for different languages.

研究动机与目标

• 量化不同语言下每条微博信息所能传递的信息量。
• 研究Twitter和微博等平台在字符限制、字节限制和信息量方面的差异。
• 评估语言特异性表达力对用户体验和平台设计的影响。
• 挑战在数字通信中字符限制对所有语言都等效的假设。
• 为设计多语言微博平台和跨语言内容策略提供数据驱动的见解。

提出的方法

• 使用英语、中文和日语的平行语料（《世界人权宣言》和TED演讲字幕）作为基准，确定等效内容的字符和比特需求。
• 测量不同语言的字符长度和字节长度，以确定每字符的信息密度。
• 收集并分析来自微博和Twitter官方账号（大使馆和新闻机构）的真实微博内容。
• 运用信息论方法计算信息量，以比较不同语言的表达力。
• 对比Twitter的140字符限制与微博的140字节限制，评估平台级设计对内容容量的影响。
• 应用统计分析比较不同语言和平台的信息量，控制组织类型变量。

实验结果

研究问题

• RQ1 英语、中文和日语的微博每条信息的信息量有何差异？
• RQ2 Twitter和微博的基于字符和基于字节的长度限制在多大程度上影响了实际传递的信息量？
• RQ3 组织类型（如大使馆、新闻机构）在多大程度上影响了不同语言微博信息量？
• RQ4 语言的表达力（以每字符的比特数衡量）在多大程度上影响了微博的信息容量？
• RQ5 平台设计选择（如基于字符与基于字节的限制）在多大程度上造成了不同语言用户体验的不平等？

主要发现

• 由于每字符的信息密度更高，中文和日语微博每条信息传递的信息量显著高于英语。
• 微博的140字节限制在中文和日语中可容纳的内容多于Twitter的140字符限制，这是由于字符编码更高效。
• 平均而言，一条微博内容比同等的Twitter内容在中文和日语中多出20%至30%的信息量。
• 微博内容的信息量受语言和组织类型双重影响，新闻机构通常比大使馆传递更多信息。
• 平台设计选择——尤其是从字符限制转向字节限制——在不同语言间造成了显著的信息容量差异。
• 研究结果挑战了‘理想推文长度’在用户参与度中的普适性，因为最佳长度可能因语言而异。