[论文解读] BERT: A Review of Applications in Natural Language Processing and Understanding

Mikhail Koroteev|arXiv (Cornell University)|Mar 22, 2021

Natural Language Processing Techniques被引用 185

一句话总结

本评估综述了BERT在NLP中的机制及其广泛应用，基于数十篇原始文章，将其与类似和专有模型进行比较。

ABSTRACT

In this review, we describe the application of one of the most popular deep learning-based language models - BERT. The paper describes the mechanism of operation of this model, the main areas of its application to the tasks of text analytics, comparisons with similar models in each task, as well as a description of some proprietary models. In preparing this review, the data of several dozen original scientific articles published over the past few years, which attracted the most attention in the scientific community, were systematized. This survey will be useful to all students and researchers who want to get acquainted with the latest advances in the field of natural language text analysis.

研究动机与目标

• 解释BERT如何运作以及为何在NLP中具有影响力。
• 总结BERT在文本分析中的主要应用领域。
• 将BERT与类似的开源模型以及专有替代模型进行比较。
• 综合来自数十篇研究的见解，以指导研究人员和学生。

提出的方法

• 描述BERT的操作机制。
• 概述BERT文本分析在NLP中的主要应用领域。
• 系统化来自几十篇原始文章的数据。
• 在各种任务上将BERT与类似模型进行比较。
• 讨论一些专有模型的作用与特征。

实验结果

研究问题

• RQ1 BERT在NLP中应用的主要任务和领域是什么？
• RQ2 在各种任务中，BERT在性能与能力方面与其他类似模型相比如何？
• RQ3 专有模型在实际中与BERT有何关系或差异？
• RQ4 对数十项研究的评审揭示了BERT的优势与局限性？

主要发现

• BERT在广泛的NLP任务和文本分析应用中被研究。
• 该评述将BERT与密切相关的模型进行比较，以突出优点与权衡。
• 专有模型被描述并与BERT进行对比，以为行业应用提供背景。
• 综合来自数十篇原始文章的数据，呈现统一观点。
• 本文强调BERT的工作机制和实际应用。