[论文解读] An approach to describing and analysing bulk biological annotation quality: a case study using UniProtKB

M. J. Bell, CS Gillespie+2 more|Aug 10, 2012

Biomedical Text Mining and Ontologies被引用 5

一句话总结

本文提出一种新颖方法，通过分析UniProtKB注释中词汇频率分布并运用幂律拟合与齐夫的省力原则，评估生物注释的整体质量。研究发现，人工注释（Swiss-Prot）最初质量较高（α值较高），但随时间推移质量下降；而自动注释（TrEMBL）则始终表现出较低的α值，表明读者所需努力增加，且注释更倾向于满足注释者便利性，提示α可作为注释质量的可行代理指标。

ABSTRACT

Motivation: Annotations are a key feature of many biological databases, used to convey our knowledge of a sequence to the reader. Ideally, annotations are curated manually, however manual curation is costly, time consuming and requires expert knowledge and training. Given these issues and the exponential increase of data, many databases implement automated annotation pipelines in an attempt to avoid un-annotated entries. Both manual and automated annotations vary in quality between databases and annotators, making assessment of annotation reliability problematic for users. The community lacks a generic measure for determining annotation quality and correctness, which we look at addressing within this article. Specifically we investigate word reuse within bulk textual annotations and relate this to Zipf's Principle of Least Effort. We use UniProt Knowledge Base (UniProtKB) as a case study to demonstrate this approach since it allows us to compare annotation change, both over time and between automated and manually curated annotations. Results: By applying power-law distributions to word reuse in annotation, we show clear trends in UniProtKB over time, which are consistent with existing studies of quality on free text English. Further, we show a clear distinction between manual and automated analysis and investigate cohorts of protein records as they mature. These results suggest that this approach holds distinct promise as a mechanism for judging annotation quality. Availability: Source code is available at the authors website: http://homepages.cs.ncl.ac.uk/m.j.bell1/annotation. Contact: [e-mail]

研究动机与目标

• 开发一种通用的、仅基于文本的指标，用于评估生物注释质量，无需依赖外部元数据或本体。
• 探究词汇频率分布随时间的变化是否反映注释质量与注释实践的转变。
• 通过语言模式与齐夫的省力原则，比较人工注释（Swiss-Prot）与自动注释（TrEMBL）的质量差异。
• 评估通过词汇频率幂律拟合得到的参数α是否可作为注释质量的可靠代理指标。
• 探索该方法在检测注释中低质量或非生物内容方面的潜力。

提出的方法

• 作者提取了1998年至2012年期间UniProtKB中所有自由文本注释，重点关注Swiss-Prot与TrEMBL。
• 他们计算了所有注释中的词汇频率，并对排序后的词汇频率进行幂律分布拟合，估计尺度参数α。
• 通过齐夫的省力原则解释α值，其中较高的α表示语言更具可预测性，更利于读者理解。
• 作者在不同时间点比较α值，以检测注释质量的趋势，并在人工与自动注释之间进行对比。
• 他们分析了蛋白质条目在成熟过程中的变化，评估α值从初始注释到成熟注释的变化情况。
• 该方法仅依赖文本内容，因此可适用于任何包含自由文本注释的数据库，无论是否使用本体或证据代码。

Figure 1: Outline view of the data extraction process. (1) Initially we download a complete dataset for a given database version in flat file format. (2) We then extract the comment lines (lines beginning with ‘CC’, the comment indicator). (3) We remove comment blocks and properties (as defined in t

实验结果

研究问题

• RQ1 生物注释中词汇频率的幂律拟合能否作为注释质量的可靠代理指标？
• RQ2 从词汇频率分布中得出的α参数在人工注释与自动注释中随时间如何变化？
• RQ3 α值的变化在多大程度上反映了注释实践的转变，例如注释者努力增加而非读者努力减少？
• RQ4 该方法能否检测到成熟条目或新添加条目随时间推移的质量下降？
• RQ5 α参数是否有助于识别注释中的非生物内容或低信号内容？

主要发现

• Swiss-Prot与TrEMBL中的α参数均随时间下降，表明注释质量下降，读者所需努力增加。
• Swiss-Prot最初具有较高的α值，表明注释质量高、利于读者理解，但随数据量增加与注释压力上升，质量随时间下降。
• TrEMBL的α值始终低于Swiss-Prot，表明自动注释更侧重于注释者便利性而非读者理解。
• UniProtKB中成熟条目的α值随时间缓慢但持续下降，表明即使已建立的注释也会因数据库增长而质量下降。
• 新添加条目的α值也随时间呈下降趋势，表明即使对于新记录，注释质量也未随时间改善。
• 该方法成功检测到注释行中非生物内容（如版权声明），展示了其在检测数据缺陷方面的潜力。

Figure 2: Cumulative distributions of words for various Swiss-Prot and TrEMBL versions, shown with logarithmic scales. The size (number of words) is shown along the $X$ axis while the probability is shown on the $Y$ axis. A point on the graph represents the probability that a word will occur $x$ or