[논문 리뷰] Unsupervised Transfer Learning via BERT Neuron Selection

Mehrdad Valipour, En-Shiun Annie Lee외 2명|arXiv (Cornell University)|2019. 12. 10.

Topic Modeling참고 문헌 47인용 수 6

한 줄 요약

이 논문은 BERT의 작업별 뉴런 선택을 활용한 새로운 비지도 전이 학습 방법을 제안하여, 전체 모델의 미세조정 없이도 NLP 분류 작업에서 성능을 향상시킨다. 감성 분석, 자연어 추론, 문장 유사성과 같은 작업에서 모든 레이어에 걸쳐 가장 중요한 뉴런을 식별하고 선택함으로써, 몇백 개의 해석 가능한 뉴런만으로도 최신 기술 수준(SOTA) 성능을 달성하였으며, BERT의 마지막 레이어 표현을 크게 능가하였다. 이는 전이 가능성과 작업별 뉴런 지문 간 유사성 간의 상관관계를 보여주며, 전이 가능성의 예측 가능성을 높였다.

ABSTRACT

Recent advancements in language representation models such as BERT have led to a rapid improvement in numerous natural language processing tasks. However, language models usually consist of a few hundred million trainable parameters with embedding space distributed across multiple layers, thus making them challenging to be fine-tuned for a specific task or to be transferred to a new domain. To determine whether there are task-specific neurons that can be exploited for unsupervised transfer learning, we introduce a method for selecting the most important neurons to solve a specific classification task. This algorithm is further extended to multi-source transfer learning by computing the importance of neurons for several single-source transfer learning scenarios between different subsets of data sources. Besides, a task-specific fingerprint for each data source is obtained based on the percentage of the selected neurons in each layer. We perform extensive experiments in unsupervised transfer learning for sentiment analysis, natural language inference and sentence similarity, and compare our results with the existing literature and baselines. Significantly, we found that the source and target data sources with higher degrees of similarity between their task-specific fingerprints demonstrate a better transferability property. We conclude that our method can lead to better performance using just a few hundred task-specific and interpretable neurons.

연구 동기 및 목표

• 전체 미세조정 없이 저자원 도메인에 대규모 사전 훈련된 언어 모델을 전이하는 데 도전하는 것.
• 비지도 전이 학습을 위해 다양한 도메인에서 일반화되는 작업별 뉴런을 식별하는 것.
• 모든 BERT 레이어에서 가장 관련성이 높은 뉴런만을 선택하는 확장 가능하고 해석 가능한 방법을 개발하는 것.
• 작업별 뉴런 지문 간 유사성이 서로 다른 데이터 소스 간 전이 가능성 예측에 도움이 되는지 입증하는 것.
• 아키텍처 변경 없이도 감성 분석, NLI, 문장 유사성 등의 비지도 전이 학습에서 기존 베이스라인을 능가하는 것.

제안 방법

• 무작위 샘플링과 누적을 통해 안정성을 확보하면서 모든 BERT 레이어의 뉴런에 중요도 점수를 할당하는 단일 소스 뉴런 선택 알고리즘인 SingleTSNS를 제안한다.
• 다양한 데이터 서브셋 쌍마다 별도의 뉴런 중요도 학습자로 훈련하고, 메타 집계기로 결과를 통합하여 메타 중요도 점수를 계산하는 다중 소스 방법인 MultiTSNS로 확장한다.
• 메타 중요도 점수에서 가장 중요한 뉴런만을 유지하기 위해 특징 선택을 적용하여 모델 크기를 몇백 개의 뉴런으로 줄인다.
• 작업별 지문으로서의 특성: 각 레이어에서 선택된 뉴런의 비율을 정의하여 데이터 소스의 언어적 특성을 압축하고 해석 가능한 표현으로 제공한다.
• 다중 소스 전이 학습에서 제한된 소스 데이터 샘플을 여러 소스에 공정하게 할당하기 위해 워터필링 알고리즘을 도입한다.
• 다양한 데이터 소스를 효과적으로 융합하기 위해 다수의 소스 쌍에서의 중요도 지표를 메타 집계기로 통합한다.

실험 결과

연구 질문

• RQ1 BERT의 전체 레이어 스택에서 유의미한 작업별 뉴런의 소수 집합을 사용할 경우, 전체 마지막 레이어 표현을 사용하는 것보다 비지도 전이 학습 성능이 뛰어나게 되는가?
• RQ2 소스 및 타겟 도메인의 작업별 뉴런 지문 간 유사성이 제로샷 전이 학습에서 전이 가능성 예측에 도움이 되는가?
• RQ3 다양한 데이터 소스를 결합할 경우, 뉴런 선택을 통한 다중 소스 전이 학습이 단일 소스 접근 방식을 초월해 성능 향상을 이룰 수 있는가?
• RQ4 제안된 뉴런 선택 방법은 감성 분석, 자연어 추론, 문장 유사성과 같은 다양한 NLP 작업에서 해석 가능하고 효과적인가?
• RQ5 모델 아키텍처의 변경 없이도 레이블이 없는 타겟 데이터를 사용하지 않고도 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• MultiTSNS는 감성 분석 분야에서 비지도 전이 학습에서 현재 최고 기술 수준(SOTA)을 초월하여, 단지 500개의 뉴런만을 사용할 경우 BERT의 마지막 레이어 표현보다 평균 3.0% 향상된 성능을 기록하였다.
• SciTail NLI 벤치마크에서, 다양한 소스 조합에 대해 BERT 기반 모델 대비 3.8%에서 13.0%까지 성능 향상을 기록하였으며, SingleTSNS 대비 최대 9.5% 향상된 성능을 보였다.
• QQP 및 SciTail 데이터셋에 대해 이전에 보고되지 않은 비지도 전이 학습 작업에서 뚜렷한 성능 향상을 기록하여 광범위한 적용 가능성을 입증하였다.
• 전이 성능는 지문 유사성과 강하게 상관관계를 보였다: 유사한 작업별 뉴런 지문을 가진 소스 및 타겟 데이터 소스는 더 나은 전이 결과를 낳았다.
• 작업별 지문—선택된 뉴런의 레이어별 비율로 정의된 것—은 데이터 소스의 언어적 특성을 압축하고 해석 가능하며 예측 가능한 표현을 제공한다.
• MultiTSNS를 통해 선택된 500개의 뉴런만으로도 BERT의 1024개 마지막 레이어 뉴런을 사용하는 것보다 더 높은 성능를 달성하였다. 이는 고성능 달성을 위해 전체 모델의 미세조정이 반드시 필요하지 않음을 시사한다.