[논문 리뷰] Deep Active Learning for Sequence Labeling Based on Diversity and Uncertainty in Gradient

Yekyung Kim|arXiv (Cornell University)|2020. 11. 27.

Machine Learning and Algorithms참고 문헌 23인용 수 4

한 줄 요약

이 논문은 시퀀스 태깅을 위한 새로운 액티브 러닝 방법인 W-BADGE를 제안한다. W-BADGE는 기울기 임베딩의 가중 샘플링을 통해 불확실성과 다양성을 통합한다. 시퀀스 길이를 기반으로 정보성, 다양성, 비용 효율성을 고려하여 샘플을 우선순위화함으로써, NER 및 슬롯 채우기 작업 전반에서 불확실성 중심 또는 다양성 중심의 베이스라인을 일관되게 능가한다. ATIS 데이터셋에서 전체 학습 데이터의 15%만으로도 모델 성능의 거의 전체 수준을 달성한다.

ABSTRACT

Recently, several studies have investigated active learning (AL) for natural language processing tasks to alleviate data dependency. However, for query selection, most of these studies mainly rely on uncertainty-based sampling, which generally does not exploit the structural information of the unlabeled data. This leads to a sampling bias in the batch active learning setting, which selects several samples at once. In this work, we demonstrate that the amount of labeled training data can be reduced using active learning when it incorporates both uncertainty and diversity in the sequence labeling task. We examined the effects of our sequence-based approach by selecting weighted diverse in the gradient embedding approach across multiple tasks, datasets, models, and consistently outperform classic uncertainty-based sampling and diversity-based sampling.

연구 동기 및 목표

• 시퀀스 태깅 작업(예: NER 및 슬롯 채우기)에서 비용이 많이 드는 토큰 수준의 애너테이션을 고려할 때 데이터 효율성 문제를 해결하기 위해.
• 불확실성 중심 샘플링에 의해 발생하는 배치 액티브 러닝의 샘플링 편향을 완화하기 위해, 이는 유사한, 중복된 샘플을 선택하는 경향이 있다.
• 기울기 임베딩을 사용하여 미학습 데이터의 예측 불확실성과 구조적 다양성을 통합하여 개선된 쿼리 선택을 수행하기 위해.
• 시퀀스 길이에 따라 샘플 선택을 가중하여 비용 효율성을 향상시키기 위해, 짧고 애너테이션 비용이 낮은 시퀀스를 우선시하기 위해.
• 다양한 데이터셋, 모델, 시퀀스 태깅 작업 전반에서 제안된 방법을 경험적으로 검증하기 위해.

제안 방법

• 모델의 최종 레이어에서 각 미학습 시퀀스의 기울기 임베딩을 계산하여 예측 불확실성과 표현의 다양성을 캡처한다.
• 기울기 임베딩 간의 거리를 최대화함으로써 기하학적 다양성을 확보하기 위해 BADGE 알고리즘을 적용하여 다수의 다양성 있는 샘플을 선택한다.
• 새로운 가중치 전략을 도입하여 샘플 선택 확률을 시퀀스 길이의 역수로 조정함으로써, 짧은 시퀀스를 선호하여 애너테이션 비용을 줄인다.
• 기울기 공간에서 기울기 노름이 높고(불확실성), 기하학적으로 거리가 먼 샘플을 선택함으로써 불확실성과 다양성을 통합한다.
• 액티브 러닝은 반복적으로 진행되며, 각 라운드 후에 새로 애너테이션된 데이터로 모델을 다시 훈련함으로써 초기 데이터에 대한 과적합을 방지한다.
• BiLSTM 및 BiLSTM 인코더-디코더 아키텍처를 사용하여 CoNLL 2003(NER), ATIS(슬롯 채우기), FMTOD(다국어 작업 중심) 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 기울기 임베딩에서 불확실성과 다양성을 통합하면 시퀀스 태깅 작업의 액티브 러닝 성능이 향상되는가?
• RQ2 시퀀스 길이에 기반한 가중 샘플링 전략은 성능을 희생시키지 않고 비용 효율성을 향상시키는가?
• RQ3 다양한 데이터셋과 모델에서 제안된 방법이 불확실성 중심(BALD 등) 및 다양성 중심(Coreset 등) 베이스라인과 어떻게 비교되는가?
• RQ4 얼마나 많은 레이블이 필요한지 줄일 수 있으며, 높은 F1 성능을 유지할 수 있는가?
• RQ5 제안된 방법은 다양한 시퀀스 태깅 아키텍처와 작업 유형에 대해 강건한가?

주요 결과

• W-BADGE는 모든 데이터셋과 모델에서 불확실성 중심 샘플링(MNLP, BALD 등)과 다양성 중심 샘플링(Coreset, BADGE 등)을 일관되게 능가했다.
• ATIS 데이터셋에서 W-BADGE는 전체 데이터로 학습한 모델의 F1 점수의 98–99%를 15%의 레이블된 데이터로 달성했다.
• CoNLL 2003 NER 작업에서 W-BADGE는 이전까지 최고 성능을 기록했던 BALD를 뚜렷이 능가했다.
• W-BADGE와 베이스라인 간의 성능 격차는 초기 학습 라운드에서 가장 두드러졌으며, 이는 더 빠른 학습 효율성을 시사한다.
• W-BADGE는 일반화 능력이 뛰어나 ATIS(슬롯 채우기) 및 FMTOD(다국어) 데이터셋 모두에서 다양한 모델 아키텍처를 사용해도 잘 작동했다.
• 가중 샘플링 전략은 짧은 시퀀스를 선호함으로써 애너테이션 비용을 효과적으로 줄였으며, 성능 저하 없이 비용 효율성을 향상시켰다.