[논문 리뷰] BERT: A Review of Applications in Natural Language Processing and Understanding

Mikhail Koroteev|arXiv (Cornell University)|2021. 03. 22.

Natural Language Processing Techniques인용 수 185

한 줄 요약

이 리뷰는 BERT의 작동 원리와 NLP에서의 광범위한 응용을 조사하고, 유사 모델 및 독점 모델과 비교하며, 수십 편의 원저(original articles)에 기반한다.

ABSTRACT

In this review, we describe the application of one of the most popular deep learning-based language models - BERT. The paper describes the mechanism of operation of this model, the main areas of its application to the tasks of text analytics, comparisons with similar models in each task, as well as a description of some proprietary models. In preparing this review, the data of several dozen original scientific articles published over the past few years, which attracted the most attention in the scientific community, were systematized. This survey will be useful to all students and researchers who want to get acquainted with the latest advances in the field of natural language text analysis.

연구 동기 및 목표

• BERT가 어떻게 작동하는지와 왜 NLP에서 영향력이 있는지 설명한다.
• 텍스트 분석을 위한 BERT의 주요 응용 영역을 요약한다.
• 비슷한 오픈 모델과 독점 대안 모델과의 비교.
• 수십 편의 다양한 연구에서 얻은 통찰을 종합해 연구자와 학생들을 안내한다.

제안 방법

• BERT의 작동 원리를 설명한다.
• NLP 텍스트 분석의 주요 응용 영역을 개요한다.
• 수십 편의 원저 원문들의 데이터를 체계화한다.
• 다양한 작업에서 유사 모델과의 비교를 수행한다.
• 일부 독점 모델의 역할과 특성을 논의한다.

실험 결과

연구 질문

• RQ1 BERT가 NLP에서 적용되는 주요 작업과 도메인은 무엇인가?
• RQ2 작업 전반에 걸친 성능과 능력에서 BERT가 다른 유사 모델과 어떻게 비교되는가?
• RQ3 실제적으로 독점 모델은 BERT와 어떤 관계에 있거나 어떻게 다른가?
• RQ4 수십 편의 연구에 대한 리뷰가 BERT의 강점과 한계에 대해 무엇을 밝히고 있는가?

주요 결과

• BERT는 광범위한 NLP 작업 및 텍스트 분석 응용 분야에서 검토된다.
• 리뷰는 강점과 절충점을 부각시키기 위해 BERT를 밀접하게 관련된 모델과 비교한다.
• 산업적 활용 맥락을 제공하기 위해 독점 모델이 설명되고 BERT와 대조된다.
• 종합은 여러 수십 편의 원저 원문 데이터를 바탕으로 통합된 시각을 제시한다.
• 본 논문은 BERT의 작동 메커니즘과 실용적 응용을 강조한다.