[논문 리뷰] DocBERT: BERT for Document Classification

Ashutosh Adhikari, Achyudh Ram외 2명|arXiv (Cornell University)|2019. 04. 17.

Text and Document Classification Technologies참고 문헌 23인용 수 215

한 줄 요약

미세조정된 BERT는 네 가지 문서 분류 데이터셋에서 최첨단 성과를 달성하며; 증류된 KD-LSTM reg는 약 30배 적은 파라미터와 약 40배 더 빠른 추론으로 BERT base와 일치할 수 있다.

ABSTRACT

We present, to our knowledge, the first application of BERT to document classification. A few characteristics of the task might lead one to think that BERT is not the most appropriate model: syntactic structures matter less for content categories, documents can often be longer than typical BERT input, and documents often have multiple labels. Nevertheless, we show that a straightforward classification model using BERT is able to achieve the state of the art across four popular datasets. To address the computational expense associated with BERT inference, we distill knowledge from BERT-large to small bidirectional LSTMs, reaching BERT-base parity on multiple datasets using 30x fewer parameters. The primary contribution of our paper is improved baselines that can provide the foundation for future work.

연구 동기 및 목표

• 미세조정된 BERT가 표준 문서 분류 데이터셋에서 최첨단 결과를 달성함을 보여준다.
• 1-에서 4-label 설정에서 일반적으로 나타나는 길고 다중 레이블 문서에 BERT를 사용하는 가능성을 조사한다.
• 추론 속도 향상을 위해 지식을 더 작은 모델(KD-LSTM reg)로 증류하여 BERT의 계산 비용을 다루는 것을 다룬다.

제안 방법

• 문서 분류를 위해 BERT base와 BERT large를 미세조정하고 [CLS] 토큰 위에 최종 분류 계층을 추가한다.
• 최적화를 위해 크로스엔트로피(단일 라벨) 또는 이진 크로스엔트로피(다중 라벨) 손실을 사용한다.
• 미세조정된 BERT large에서 경량 단일 계층 BiLSTM (LSTM reg)으로 지식 증류를 적용하고 전이 세트에서 KL-발산을 사용한다.
• 분류 손실과 증류 손실을 가중합으로 결합하여 학생 모델(KD-LSTM reg)을 학습시킨다.
• POS 가이드 단어 교체와 임의 마스킹으로 증류를 개선하기 위한 전이 세트를 만든다.
• 표준 분할과 보고된 기준선을 사용하여 Reuters, AAPD, IMDB, 및 Yelp 2014에서 평가한다.

실험 결과

연구 질문

• RQ1 미세조정된 BERT가 표준 문서 분류 데이터셋에서 새로운 최첨단 결과를 달성할 수 있는가?
• RQ2 지식 증류를 통해 경량 BiLSTM이 BERT base 성능을 근사할 수 있는가?
• RQ3 BERT와 증류된 학생 모델 간의 정확도, 모델 크기 및 추론 시간의 상쇄 관계는 무엇인가?
• RQ4 다른 데이터셋(단일 라벨 vs 다중 라벨)이 BERT 미세조정의 학습 동력학 및 성능에 어떤 영향을 미치는가?

주요 결과

모델	Reuters 검증 F1	Reuters 테스트 F1	AAPD 검증 F1	AAPD 테스트 F1	IMDB 검증 F1	IMDB 테스트 F1	Yelp 검증 정확도	Yelp 테스트 정확도
LSTM reg	89.1 ±0.8	87.0 ±0.5	73.1 ±0.4	70.5 ±0.5	53.4 ±0.2	52.8 ±0.3	69.0 ±0.1	68.7 ±0.1
BERT base	90.5	89.0	75.3	73.4	54.4	54.2	72.1	72.0
BERT large	92.3	90.7	76.6	75.2	56.0	55.6	72.6	72.5
KD-LSTM reg	91.0 ±0.2	88.9 ±0.2	75.4 ±0.2	72.9 ±0.3	54.5 ±0.1	53.7 ±0.3	69.7 ±0.1	69.4 ±0.1

• BERT large는 네 데이터셋 모두에서 최첨단 결과를 달성한다.
• BERT base도 강력한 성과를 보이며, BERT large를 근소하게 추격한다.
• KD-LSTM reg는 Reuters, AAPD, IMDB에서 BERT base와 동등한 성능을 달성하고 추론 속도에서 상당한 가속을 제공한다(≥40x 더 빠른 추론).
• KD-LSTM reg는 약 1–3% 수준의 BERT base 파라미터 수를 달성하면서 데이터셋 전반에 걸쳐 경쟁력 있는 정확도를 유지한다.
• 증류 모델의 추론 지연은 테스트 하드웨어에서 BERT base에 비해 극적으로 감소한다(약 40배).
• 증류 모델은 더 간단한 아키텍처가 훨씬 더 적은 파라미터로 BERT의 성능의 대부분을 회복할 수 있음을 보여준다.