[논문 리뷰] Multi-class Text Classification using BERT-based Active Learning

Sumanth Prabhu, Moosa Mohamed외 1명|arXiv (Cornell University)|2021. 04. 27.

Text and Document Classification Technologies참고 문헌 47인용 수 5

한 줄 요약

이 논문은 택시·배달 서비스에서 흔히 발생하는 저자원, 코드 믹스드, 비일관성 있는 텍스트 환경에서 다중 분류 텍스트 분류를 위한 BERT 기반 주동 학습 프레임워크를 제안한다. TREC-6, AG’s News 및 내부 데이터셋에서 다양한 주동 학습 전략—불확실성, 다양성, 대표성—을 평가함으로써, 높은 정확도를 유지하면서도 레이블링 비용을 85% 감소시켰으며, EGL과 DAL이 다양성, 대표성, 낮은 클래스 편향의 균형을 잘 유지하는 것으로 나타났다.

ABSTRACT

Text Classification finds interesting applications in the pickup and delivery services industry where customers require one or more items to be picked up from a location and delivered to a certain destination. Classifying these customer transactions into multiple categories helps understand the market needs for different customer segments. Each transaction is accompanied by a text description provided by the customer to describe the products being picked up and delivered which can be used to classify the transaction. BERT-based models have proven to perform well in Natural Language Understanding. However, the product descriptions provided by the customers tend to be short, incoherent and code-mixed (Hindi-English) text which demands fine-tuning of such models with manually labelled data to achieve high accuracy. Collecting this labelled data can prove to be expensive. In this paper, we explore Active Learning strategies to label transaction descriptions cost effectively while using BERT to train a transaction classification model. On TREC-6, AG's News Corpus and an internal dataset, we benchmark the performance of BERT across different Active Learning strategies in Multi-Class Text Classification.

연구 동기 및 목표

• 짧고 비일관성 있으며 코드 믹스드(Hindi-English)인 거래 기록 설명을 포함한 실제 산업 응용 분야에서 BERT 기반 다중 분류 텍스트 분류의 수동 레이블링 비용이 높다는 문제를 해결한다.
• 레이블링 노력 최소화를 위해 BERT 기반 프레임워크 내에서 불확실성, 다양성, 대표성, 클래스 편향을 포함한 다양한 주동 학습 전략을 평가하고 비교한다.
• 공개 및 내부 데이터셋에서 고급 주동 학습 방법(예: EGL, DAL, DBAL, Core-set)의 성능을 벤치마킹하여 산업적 구현에 가장 효과적인 전략을 규명한다.
• BERT 기반 텍스트 분류에서 주동 학습의 모델 성능, 레이블링 효율성, 계산 런타임 간의 트레이드오프를 평가한다.

제안 방법

• 초기 소량의 레이블된 데이터셋을 기반으로 BERT를 피나이팅하여 다중 분류 예측을 위한 텍스트 분류 모델을 초기화한다.
• 미레이블된 데이터 풀에서 가장 정보가 많은 샘플을 선택하기 위해 다양한 주동 학습 전략—불확실성(엔트로피), 다양성(Core-set), 대표성(KNN-밀도), 클래스 편향(레이블 엔트로피)—을 적용한다.
• 다양성 및 대표성 측정에 [CLS] 토큰 임베딩을 사용하며, 코어셋 및 KNN-밀도 계산을 위해 인스턴스 간의 거리를 계산한다.
• 예측 엔트로피가 클래스 간 최고인 인스턴스를 선택하여 불확실성 샘플링을 구현한다.
• KNN-밀도 측도를 사용해 대표성 평가: 미레이블된 풀 내에서 K개의 가장 가까운 이웃까지의 평균 거리의 역수.
• 진짜 레이블 분포와 선택된 인스턴스의 분포 간 Kullback-Leibler(KL) 발산을 사용해 클래스 편향을 정량화한다.

실험 결과

연구 질문

• RQ1 BERT 기반 다중 분류 텍스트 분류에서 레이블링 비용을 최소화하면서도 높은 분류 정확도를 유지하기 위해 불확실성, 다양성, 대표성 전략 중 어느 것이 가장 효과적인가?
• RQ2 짧고 비일관성 있으며 코드 믹스드 텍스트 데이터에 적용했을 때, 다양한 주동 학습 전략은 다양성과 대표성 측면에서 어떻게 성능을 내는가?
• RQ3 주동 학습 전략은 어느 정도의 클래스 편향을 유발하는가? 그리고 샘플링 중 레이블 분포의 불균형을 최소화하는 전략은 무엇인가?
• RQ4 BERT 기반 환경에서 다양한 주동 학습 전략 간에 모델 성능, 레이블링 효율성, 계산 런타임 간의 트레이드오프는 어떠한가?

주요 결과

• EGL(엔트로피 기반 주동 학습)은 다양성, 대표성, 낮은 클래스 편향의 균형을 가장 잘 유지하여 TREC-6 및 AG’s News 코퍼스에서 다른 전략을 모두 앞서는 최고의 성능을 보였다.
• 랜덤 샘플링은 가장 높은 다양성과 대표성 점수를 기록했지만, 가장 높은 클래스 편향을 보이며 레이블 분포 커버리지가 열악함을 시사했다.
• DAL(Diversity-Aware Active Learning)과 EGL은 불확실성, Core-set, DBAL보다 유의미하게 낮은 클래스 편향을 보였으며, Wilcoxon 순위합 검정(p < 0.05)으로 확인되었다.
• 주동 학습 전략의 런타임은 크게 다름: 랜덤 샘플링은 가장 빠름(<1초), EGL은 기울기 기반 계산으로 인해 가장 느림(1회 반복당 484초).
• 평균적으로 제안된 주동 학습 프레임워크는 전체 지도 학습 피나이팅 대비 레이블링 비용을 85% 감소시켰으며, 모든 데이터셋에서 높은 정확도를 유지했다.
• Core-set는 높은 다양성을 기록했지만 대표성은 일관되지 않아 외곽치 인스턴스가 선택된 탓일 것으로 추정되며, 순수 다양성 기반 샘플링에서의 트레이드오프를 드러냈다.