[논문 리뷰] RoBERTa-wwm-ext Fine-Tuning for Chinese Text Classification

Xu Zhuo|arXiv (Cornell University)|2021. 02. 24.

Topic Modeling참고 문헌 4인용 수 11

한 줄 요약

이 논문은 중국어 법적 행동 분류를 위한 RoBERTa-wwm-ext를 사전 훈련된 기반으로 사용하여, CNN, RNN, RCNN, DPCNN의 네 가지 다른 신경망 헤드를 사용해 미세조정하는 방법을 제안한다. 아키텍처의 복잡성이 높아졌음에도 불구하고, 6,755개의 샘플로 구성된 법원 기록에서 유도된 데이터셋에서 모든 제안된 모델이 정확도와 훈련 효율성 측면에서 기준 RoBERTa-wwm-ext보다 열등하다.

ABSTRACT

Bidirectional Encoder Representations from Transformers (BERT) have shown to be a promising way to dramatically improve the performance across various Natural Language Processing tasks [Devlin et al., 2019]. Meanwhile, progress made over the past few years by various Neural Net-work has also proved the effectiveness of Neural Network in the field of Natural Language Processing. In this project, RoBERTa-wwm-ext [Cui et al., 2019] pre-train language model was adopted and fine-tuned for Chinese text classification. The models were able to classify Chinese texts into two categories, containing descriptions of legal behavior and descriptions of illegal behavior. Four different models are also proposed in the paper. Those models will use RoBERTa-wwm-extas their embedding layer and feed the embedding into different neural networks. The motivation be-hind proposing these models is straightforward. By introducing complex output layer architecture, the overall performance of the models could be improved. All the models were trained on a data set derived from Chinese public court records, and the performance of different models were compared.The experiment shows that the performance of pro-posed models failed to beat the original RoBERTa-wwm-ext model in terms of accuracy and training efficiency.

연구 동기 및 목표

• RoBERTa-wwm-ext를 기반 인코더로 사용하여 온라인 불법 행동 탐지에 대한 중국어 텍스트 분류 성능을 향상시키는 것.
• RoBERTa-wwm-ext에 복잡한 신경망 헤드(CNN, RNN, RCNN, DPCNN)를 추가함으로써 분류 정확도와 훈련 효율성이 향상되는지 조사하는 것.
• 법원 기록 기반 중국어 텍스트에서 더 나은 모델 성능을 위해 하이퍼파라미터 최적화 및 텍스트 전처리(예: 시퀀스 패딩)를 수행하는 것.
• 검증 정확도와 훈련 시간 측면에서 제안된 모델들을 RoBERTa-wwm-ext 기준 모델과 비교하는 것.

제안 방법

• 6,755개의 수동으로 레이블링된 중국어 법원 기록 데이터셋을 사용하여 RoBERTa-wwm-ext를 미세조정하였으며, 훈련 64%, 검증 16%, 테스트 20%로 분할하였다.
• 미세조정 중에 어떤 레이어도 동결하지 않고 RoBERTa-wwm-ext를 임bedding 레이어로 사용하였으며, 전체 단어 마스킹 및 RoBERTa 최적화된 훈련을 활용하였다.
• 맥락적 임bedding을 네 가지 다른 분류 헤드에 입력: 커널 크기가 2, 3, 4인 1D-CNN(각각 필터 100개), 768개의 은닉 유닛을 갖는 BiLSTM, 잔차 연결이 있는 RCNN, 스택된 컨볼루션 블록을 갖는 DPCNN.
• 모든 헤드에 드롭아웃(rate 0.1)을 적용하였으며, 10 에포크 동안 Tesla P100 GPU와 CUDA 10.2를 사용하여 배치 크기 64로 훈련을 수행하였다.
• 하이퍼파라미터 최적화 및 변수 길이 입력을 처리하기 위해 시퀀스 패딩을 적용하였다.
• 검증 정확도와 다양한 배치 크기(64 및 16)에서의 훈련 시간을 사용하여 모델 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 RoBERTa-wwm-ext에 복잡한 신경망 헤드(CNN, RNN, RCNN, DPCNN)를 추가하면 중국어 법적 텍스트 분류 정확도가 향상되는가?
• RQ2 제안된 모델들은 RoBERTa-wwm-ext 기준 모델보다 더 빠른 훈련 시간을 달성할 수 있는가?
• RQ3 배치 크기가 제안된 모델의 정확도와 훈련 시간에 어떤 영향을 미치는가?
• RQ4 RoBERTa-wwm-ext가 기반 인코더로써의 성능이 이 분류 작업에서 더 복잡한 헤드 아키텍처를 능가할 수 있는가?
• RQ5 텍스트 전처리(예: 시퀀스 패딩)가 모델 성능에 상당한 영향을 미치는가?

주요 결과

• 기준 RoBERTa-wwm-ext 모델은 배치 크기 64일 때 가장 높은 검증 정확도 95.31%를 기록하였다.
• RNN 기반 모델은 95.03%의 검증 정확도를 기록하여 기준 모델에 가장 가까운 성능을 보였지만, 여전히 기준 모델보다 열등했다.
• DPCNN 기반 모델은 92.38%의 검증 정확도를 기록하여 모든 모델 중에서 가장 낮은 성능을 보였으며, 이 아키텍처에서의 성능이 열악하다는 것을 시사한다.
• 모델 간 훈련 시간은 거의 차이가 없었으며, RNN 모델이 가장 오래 걸렸다(10 에포크 기준 5분 42초), DPCNN는 가장 빠르게(3분 46초) 훈련되었지만, 유의미한 차이는 없었다.
• 배치 크기를 64에서 16으로 줄이면 정확도가 약간 향상되었으며(예: 기준 모델은 95.31%에서 96.58%로 상승), 그러나 훈련 시간이 상당히 증가하였다(약 4분에서 약 13분으로 증가).
• 모든 제안된 모델이 정확도나 훈련 효율성 측면에서 RoBERTa-wwm-ext 기준 모델을 뛰어넘지 못했으며, 이는 사전 훈련된 모델의 표현 학습 능력이 이 작업에 이미 최적임을 시사한다.