[論文レビュー] BERT: A Review of Applications in Natural Language Processing and Understanding

Mikhail Koroteev|arXiv (Cornell University)|Mar 22, 2021

Natural Language Processing Techniques被引用数 185

ひとこと要約

このレビューは、NLPにおけるBERTの機序と広範な適用を調査し、類似モデルおよび独自モデルと比較しています。数十本のオリジナル論文に基づく。

ABSTRACT

In this review, we describe the application of one of the most popular deep learning-based language models - BERT. The paper describes the mechanism of operation of this model, the main areas of its application to the tasks of text analytics, comparisons with similar models in each task, as well as a description of some proprietary models. In preparing this review, the data of several dozen original scientific articles published over the past few years, which attracted the most attention in the scientific community, were systematized. This survey will be useful to all students and researchers who want to get acquainted with the latest advances in the field of natural language text analysis.

研究の動機と目的

• BERTの動作原理と、それがNLPでなぜ影響力を持つのかを説明する。
• テキスト分析におけるBERTの主な適用領域を要約する。
• 似たオープンモデルおよび独自の代替案とBERTを比較する。
• 数十件に及ぶ研究からの知見を総合し、研究者と学生を導く。

提案手法

• BERTの動作機序を説明する。
• NLPテキスト分析の主な適用領域を整理する。
• 数十本の原著論文のデータを体系化する。
• さまざまなタスクでBERTを類似モデルと比較する。
• いくつかの独自モデルの役割と特徴を論じる。

実験結果

リサーチクエスチョン

• RQ1 BERTがNLPで適用される主なタスクと領域は何か。
• RQ2 タスク間での性能・能力の点で、BERTは他の類似モデルとどう比較されるか。
• RQ3 実際には、独自モデルはBERTとどう関係するか、あるいはどう異なるか。
• RQ4 数十件の研究のレビューは、BERTの長所と限界について何を明らかにしているか。

主な発見

• BERTは広範なNLPタスクおよびテキスト分析アプリケーションで検討されている。
• 本レビューは、利点とトレードオフを際立たせるために、BERTを密接に関連するモデルと比較している。
• 独自モデルが説明され、業界の利用状況に対する文脈を提供するためにBERTと対比されている。
• 統合的な視点を提示するために、数十本の原著論文のデータを基に統合している。
• 本論文は、BERTの動作機序と実用的な応用を強調している。