[논문 리뷰] User Generated Data: Achilles' heel of BERT.

Ankit Kumar, Piyush Makhija외 1명|arXiv (Cornell University)|2020. 03. 29.

Topic Modeling참고 문헌 20인용 수 7

한 줄 요약

이 논문은 산문 오류와 오타로 인해 사용자 생성 텍스트에서 BERT의 성능 저하를 조사하며, 감성 분석 및 텍스트 유사도 작업에서 심각한 정확도 저하를 입증한다. IMDB, SST-2 및 STS-B 데이터셋을 사용하여 BERT의 아키텍처적 및 훈련 제약이 실생활 산업 NLP 데이터에서의 강건성에 악영향을 미치는 점을 규명한다.

ABSTRACT

Owing to BERT's phenomenal success on various NLP tasks and benchmark datasets, industry practitioners have started to experiment with incorporating BERT to build applications to solve industry use cases. Industrial NLP applications are known to deal with much more noisy data as compared to benchmark datasets. In this work we systematically show that when the text data is noisy, there is a significant degradation in the performance of BERT. While this work is motivated from our business use case of building NLP applications for user generated text data which is known to be very noisy, our findings are applicable across various use cases in the industry. Specifically, we show that BERT's performance on fundamental tasks like sentiment analysis and textual similarity drops significantly as we introduce noise in data in the form of spelling mistakes and typos. For our experiments we use three well known datasets - IMDB movie reviews, SST-2 and STS-B to measure the performance. Further, we identify the shortcomings in the BERT pipeline that are responsible for this drop in performance.

연구 동기 및 목표

• 산업적 NLP 응용에서 흔히 볼 수 있는 노이즈가 많은 실생활 사용자 생성 텍스트에서 BERT의 강건성을 평가하기 위해.
• 노이즈 상황에서 성능 저하를 유도하는 BERT 아키텍처 및 파인튜닝 파이pline의 구체적인 실패 요인을 규명하기 위해.
• 일반적인 텍스트 아티팩트(예: 철자 오류 및 오타)가 표준 NLP 작업 전반에서 BERT의 성능에 미치는 영향을 정량화하기 위해.
• 벤치마크 데이터셋을 초월해 높은 노이즈 수준을 가진 산업 데이터셋에 적용되었을 때 BERT의 한계를 이해하기 위한 통찰을 제공하기 위해.

제안 방법

• IMDB, SST-2 및 STS-B 세 가지 벤치마크 데이터셋에 제어된 노이즈(철자 오류 및 오타)를 체계적으로 삽입하였다.
• 각 데이터셋의 원본 및 노이즈가 삽입된 버전에서 BERT를 파인튜닝하여 하류 작업에서의 성능 변화를 측정하였다.
• 감성 분류(IME, SST-2)와 텍스트 유사도(STS-B)의 두 핵심 NLP 작업에서 성능을 평가하였다.
• 노이즈 삽입 전후의 모델 예측을 비교하여 텍스트 품질이 BERT의 출력에 미치는 영향을 고립시켰다.
• 노이즈 입력 상황에서 BERT가 실패하는 위치와 이유를 규명하기 위해 주의 메커니즘과 토큰 표현을 분석하였다.
• 정확도, 피어슨 상관계수 등의 표준 지표를 사용하여 다양한 노이즈 수준에서의 성능 저하를 정량화하였다.

실험 결과

연구 질문

• RQ1 철자 오류와 오타의 도입이 감성 분석 작업에서 BERT의 성능에 어떤 영향을 미치는가?
• RQ2 사용자 생성 텍스트의 노이즈가 텍스트 유사도 작업에서 BERT의 성능을 어느 정도 떨어뜨리는가?
• RQ3 BERT 파이프라인의 어떤 구성 요소가 노이즈 입력에 가장 민감하며, 그 이유는 무엇인가?
• RQ4 사용자 생성 텍스트에 특정 언어적 아티팩트가 BERT의 예측에 비례적으로 더 큰 악영향을 미치는가?

주요 결과

• 노이즈가 삽입된 상황에서 감성 분석 작업에서 BERT의 성능이 심각하게 저하되며, IMDB 및 SST-2 데이터셋 모두에서 정확도 감소가 관찰된다.
• STS-B 벤치마크에서 텍스트 유사도 성능이 노이즈 상황에서 상당히 떨어지며, 의미 매칭 작업의 신뢰성이 떨어지는 것으로 나타난다.
• 일반적인 철자 오류 및 오타를 포함한 다양한 노이즈 유형에 걸쳐 저하가 일관되게 나타난다.
• BERT의 주의 메커니즘과 토큰 표현이 빈도가 적은 단어나 철자가 잘못된 토큰에 대해 강건성이 떨어져 예측의 불안정성을 유발한다.
• BERT의 사전 훈련 데이터 분포가 사용자 생성 텍스트의 노이즈를 포함하지 않아 실생활 산업 응용에 대한 일반화 능력이 제한된다.
• 노이즈가 포함된 데이터에서의 파인튜닝이 성능을 완전히 회복하지 못함으로써, 노이즈 처리에 대한 BERT의 핵심 아키텍처적 한계가 드러난다.