[논문 리뷰] Transformer to CNN: Label-scarce distillation for efficient text classification

Yew Ken Chia, Sam Witteveen외 1명|arXiv (Cornell University)|2019. 09. 08.

Topic Modeling인용 수 25

한 줄 요약

이 논문은 대규모 사전 훈련된 트랜스포머(OpenAI GPT)를 교사 모델로 사용하여, 소형이고 효율적인 컬러레이션 신경망(BlendCNN)을 학생 모델로 훈련하는 지식 정련 프레임워크를 제안한다. 레이블이 부족한 조건에서 학생 모델는 파arameter 수가 39배 적고 추론 속도가 300배 빠르지만, 여러 텍스트 분류 벤치마크에서 교사 모델을 능가한다. 이는 적절하게 계층적 표현 학습을 위해 설계된 정련된 CNN 모델이 주어진 조건에서 대규모 어텐션 기반 모델을 능가할 수 있음을 보여준다.

ABSTRACT

Significant advances have been made in Natural Language Processing (NLP) modelling since the beginning of 2018. The new approaches allow for accurate results, even when there is little labelled data, because these NLP models can benefit from training on both task-agnostic and task-specific unlabelled data. However, these advantages come with significant size and computational costs. This workshop paper outlines how our proposed convolutional student architecture, having been trained by a distillation process from a large-scale model, can achieve 300x inference speedup and 39x reduction in parameter count. In some cases, the student model performance surpasses its teacher on the studied tasks.

연구 동기 및 목표

• 산업용 자연어 처리 응용 분야에서 대규모 사전 훈련된 트랜스포머 모델의 높은 계산 및 메모리 비용을 해결하기 위해.
• 레이블이 부족한 조건에서 경량 CNN 기반 학생 모델이 대규모 사전 훈련된 트랜스포머 교사 모델의 성능을 따라하거나 능가할 수 있는지 탐색하기 위해.
• 제한된 애너테이션 예제가 있는 조건에서, 가짜 레이블이 부여된 비라벨 데이터를 사용한 정련이 학생 모델의 일반화 능력을 얼마나 향상시키는지 조사하기 위해.
• 계층적 표현을 효과적으로 포착할 수 있도록 정교하게 설계된 새로운 CNN 아키텍처(BlendCNN)를 설계하여 텍스트 분류 성능을 향상시키기 위해.

제안 방법

• 사전 훈련된 OpenAI 트랜스포머 모델이 교사로 사용되며, 이는 작업에 특화된 데이터로 미세조정된 후, 라벨이 있는 데이터와 비라벨 데이터 모두에 대해 소프트 레이블(로짓)을 생성한다.
• 다양한 레이어에서 풀링하는 병렬 컨볼루션 브랜치를 갖는 새로운 CNN 아키텍처인 BlendCNN이 설계되었으며, 이는 연결 후 밀집 블렌딩 레이어를 거친다.
• 학생 모델은 라벨이 있는 데이터와 가짜 레이블이 부여된 비라벨 예제에서 학생의 로짓과 교사의 로짓 간의 평균 절대 오차(MAE) 손실을 사용하여 지식 정련을 통해 훈련된다.
• 학생 모델의 입력 특징으로 100차원의 학습 가능한 GloVe 임베딩을 사용하여 전이 학습을 적용한다.
• 100개의 라벨이 있는 예제와 1,000개의 비라벨 예제를 사용하여 정련을 수행하며, 추가적인 학습 신호를 생성하기 위해 가짜 레이블링을 활용한다.
• 전체 실험에서 고정된 초기 학습률 10⁻³을 사용하여 Adam 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 레이블이 부족한 조건에서 경량 CNN 기반 학생 모델이 대규모 사전 훈련된 트랜스포머 모델과 유사하거나 뛰어난 성능을 달성할 수 있는가?
• RQ2 소수의 라벨이 있는 조건에서 강력한 교사 모델로부터의 지식 정련이 소형 학생 네트워크의 정확도를 얼마나 향상시키는가?
• RQ3 제한된 자원의 텍스트 분류에서, 가짜 레이블이 부여된 비라벨 데이터의 사용이 정련 과정을 얼마나 효과적으로 향상시키는가?
• RQ4 BlendCNN과 같은 특수하게 설계된 CNN 아키텍처가 정련된 로짓에서 계층적 표현을 효과적으로 활용하여 더 큰 모델을 능가할 수 있는가?

주요 결과

• 3층 BlendCNN 학생 모델은 AG News에서 91.2%의 정확도를 달성하여, 정련을 통해 훈련된 OpenAI 트랜스포머 교사 모델(88.7%)을 능가했다.
• DBpedia 데이터셋에서 8층 BlendCNN은 98.5%의 정확도를 기록했으며, 동일한 정련 프로토콜 하에서 교사 모델의 97.5%를 초월했다.
• Yahoo Answers에서 3층 BlendCNN은 71.0%의 정확도를 기록하여, 교사 모델의 70.4% 성능을 약간 뛰어넘었다.
• 교사 모델을 능가함에도 불구하고, 3층 BlendCNN 모델은 파arameter 수가 39배 적고(298만 대비 1억 1,650만), 추론 속도가 300배 빠르다(초당 3,676개 문장 대비 11.76개 문장).
• 정련의 영향은 뚜렷하다: 정련 없이 학습한 BlendCNN 모델은 AG News에서 단지 87.6%의 정확도를 기록하여, 정련이 높은 성능을 내기 위해 필수적임을 시사한다.
• 비라벨 데이터를 정련 과정에 포함시키면 학생 모델의 성능 향상이 뚜렷하게 나타나며, 가짜 레이블링을 사용한 경우 라벨이 있는 데이터로만 훈련한 경우보다 더 높은 점수를 기록했다.