[논문 리뷰] Investigating the Effectiveness of Representations Based on Pretrained Transformer-based Language Models in Active Learning for Labelling Text Datasets

Jinghui Lu, Brian Mac Namee|arXiv (Cornell University)|2020. 04. 21.

Topic Modeling참고 문헌 48인용 수 13

한 줄 요약

이 논문은 텍스트 분류를 위한 액티브 러닝에서 사전 훈련된 트랜스포머 기반 모델—특히 BERT 유사 아키텍처—를 텍스트 표현으로 사용할 때의 효과성을 평가한다. 이는 특히 RoBERTa와 평균화된 워드 임베딩 및 불확실성 샘플링을 사용할 경우 기존의 bag-of-words 및 word2vec와 같은 전통적 방법보다 뚜렷이 뛰어난 성능을 보임을 입증하며, 액티브 러닝 중에 임베딩을 적응적으로 튜닝하는 Adaptive Tuning Active Learning(ATAL)을 제안한다. 이는 성능 향상에 기여한다.

ABSTRACT

Active learning has been shown to be an effective way to alleviate some of the effort required in utilising large collections of unlabelled data for machine learning tasks without needing to fully label them. The representation mechanism used to represent text documents when performing active learning, however, has a significant influence on how effective the process will be. While simple vector representations such as bag-of-words and embedding-based representations based on techniques such as word2vec have been shown to be an effective way to represent documents during active learning, the emergence of representation mechanisms based on the pre-trained transformer-based neural network models popular in natural language processing research (e.g. BERT) offer a promising, and as yet not fully explored, alternative. This paper describes a comprehensive evaluation of the effectiveness of representations based on pre-trained transformer-based language models for active learning. This evaluation shows that transformer-based models, especially BERT-like models, that have not yet been widely used in active learning, achieve a significant improvement over more commonly used vector representations like bag-of-words or other classical word embeddings like word2vec. This paper also investigates the effectiveness of representations based on variants of BERT such as Roberta, Albert as well as comparing the effectiveness of the [CLS] token representation and the aggregated representation that can be generated using BERT-like models. Finally, we propose an approach Adaptive Tuning Active Learning. Our experiments show that the limited label information acquired in active learning can not only be used for training a classifier but can also adaptively improve the embeddings generated by the BERT-like language models as well.

연구 동기 및 목표

• 사전 훈련된 트랜스포머 기반 언어 모델이 bag-of-words 및 word2vec와 같은 전통적인 벡터 표현 방식보다 액티브 러닝에서 성능 향상에 기여하는지 평가하는 것.
• 경량 BERT 변종인 DistilBERT 및 ALBERT를 사용하여 성능와 계산 비용 간의 트레이드오프를 평가하는 것.
• BERT 유사 모델에서 [CLS] 토큰 임베딩과 평균화된 워드 레벨 임베딩 간의 효과성 비교하는 것.
• 액티브 러닝 중에 사전 훈련된 모델을 튜닝함으로써 임베딩 품질과 전체 성능 향상 여부를 조사하는 것.
• 분류뿐만 아니라 임베딩 향상에도 레이블 정보를 활용하는 새로운 적응적 튜닝 메커니즘을 제안하고 평가하는 것.

제안 방법

• 연구는 다양한 텍스트 표현을 평가하기 위해 불확실성 샘플링을 포함한 여러 액티브 러닝 선택 전략을 활용한다.
• 텍스트 문서의 컨텍스트 기반 임베딩을 생성하기 위해 사전 훈련된 트랜스포머 모델—RoBERTa, BERT, DistilBERT, ALBERT—를 사용한다.
• 두 가지 표현 전략을 비교한다: 시퀀스 전역의 모든 토큰 임베딩을 평균화하는 것과 [CLS] 토큰의 임베딩을 사용하는 것.
• 액티브 러닝 중에 새로운 레이블 데이터를 사용해 모델을 점진적으로 미세조정하는 Adaptive Tuning Active Learning(ATAL)을 제안한다.
• 성능 평가를 위해 8개의 다양한 텍스트 분류 데이터셋에서 정확도+를 측정하며, 라벨이 추가될수록 학습 곡선을 추적한다.
• 성능 비교의 상한선으로 완전히 미세조정된 RoBERTa 모델을 사용한다.

실험 결과

연구 질문

• RQ1 RQ1: 액티브 러닝을 통한 텍스트 레이블링에서 사전 훈련된 트랜스포머 기반 언어 모델의 표현 방식이 bag-of-words 및 word2vec와 같은 전통적 벡터 표현 방식보다 더 효과적인가?
• RQ2 RQ2: 경량 BERT 변종(예: DistilBERT, ALBERT)은 계산 비용을 줄이면서도 액티브 러닝에서 높은 성능을 유지할 수 있는가?
• RQ3 RQ3: BERT 유사 모델에서 문서 수준 분류에 있어 [CLS] 토큰 표현 방식과 평균화된 워드 레벨 표현 방식 중 어느 것이 더 효과적인가?
• RQ4 RQ4: 액티브 러닝 중에 사전 훈련된 모델을 튜닝함으로써 임베딩 품질과 전체 성능 향상이 가능할 수 있는가?

주요 결과

• 평균화된 워드 임베딩을 사용한 RoBERTa가 대부분의 데이터셋에서 가장 높은 정확도+를 기록하며 일관되게 뛰어난 성능을 보였다.
• 액티브 러닝 중에 레이블 데이터를 사용해 모델을 미세조정하는 ATAL은 표준 액티브 러닝 대비 성능 향상을 크게 개선했으며, Multi-domain Customer Review 및 Additional Customer Review와 같은 도전적인 데이터셋에서 두드러진 성과를 보였다.
• 8개 데이터셋 중 5개에서 ATAL은 표준 액티브 러닝을 크게 앞서며, 200개의 라벨 데이터가 확보된 이후부터 성능 향상이 명확히 관찰되었다.
• 3개의 쉬운 데이터셋(Guardian 2013, AG News, Dbpedia)에서는 표준 방법과 ATAL 모두 빠르게 거의 완벽한 정확도에 도달했으며, 이는 ATAL이 성능을 떨어뜨리지 않음을 시사한다.
• DistilBERT와 ALBERT는 계산 비용을 크게 줄이며 경쟁 가능한 성능를 제공하여 GPU 메모리가 제한된 환경에서 유망한 대안이 되었다.
• 모든 평가된 모델과 데이터셋에서 평균화된 임베딩 표현 방식이 [CLS] 토큰 표현 방식보다 더 효과적이었다.