[논문 리뷰] SeqMix: Augmenting Active Sequence Labeling via Sequence Mixup

Rongzhi Zhang, Yue Yu외 1명|arXiv (Cornell University)|2020. 10. 05.

Topic Modeling참고 문헌 46인용 수 5

한 줄 요약

SeqMix는 활성 시퀀스 레이블링을 위한 데이터 증강 방법으로, 잠재 공간에서 시퀀스와 토큰 수준 레이블을 혼합하여 자연스럽고 태깅된 시퀀스를 생성하며, 저품질 샘플을 걸러내기 위해 판별기(discriminator)를 사용한다. NER 및 이벤트 탐지 작업 전반에서 F1 점수를 평균 2.27%~3.75% 향상시키며, 특히 자원이 부족한 환경에서 더 큰 성과를 기록한다.

ABSTRACT

Active learning is an important technique for low-resource sequence labeling tasks. However, current active sequence labeling methods use the queried samples alone in each iteration, which is an inefficient way of leveraging human annotations. We propose a simple but effective data augmentation method to improve the label efficiency of active sequence labeling. Our method, SeqMix, simply augments the queried samples by generating extra labeled sequences in each iteration. The key difficulty is to generate plausible sequences along with token-level labels. In SeqMix, we address this challenge by performing mixup for both sequences and token-level labels of the queried samples. Furthermore, we design a discriminator during sequence mixup, which judges whether the generated sequences are plausible or not. Our experiments on Named Entity Recognition and Event Detection tasks show that SeqMix can improve the standard active sequence labeling method by $2.27\%$--$3.75\%$ in terms of $F_1$ scores. The code and data for SeqMix can be found at https://github.com/rz-zhang/SeqMix

연구 동기 및 목표

• 활성 시퀀스 레이블링에서 오직 쿼리된 샘플들만을 사용할 경우 발생하는 자원 낭비와 데이터 다양성 부족 문제를 해결한다.
• 시퀀스 레이블링 작업을 위해 의미적으로 타당하고 정확한 토큰 수준 레이블을 가진 시퀀스를 생성하는 과제를 해결한다.
• 활동 학습 반복 과정 중 데이터 증강을 도입하여 저자원 시퀀스 레이블링에서 모델의 일반화 능력과 레이블 효율성을 향상시킨다.
• 의미적 및 문법적 타당성을 유지하면서 동시에 시퀀스와 해당 레이블을 공동으로 생성하는 방법을 개발한다.
• 기존 활동 학습 정책과 통합 가능하도록 설계하여 모델 재학습이나 아키텍처 변경 없이 성능 향상을 가능하게 한다.

제안 방법

• 두 개의 샘플링된 시퀀스와 그에 해당하는 토큰 수준 레이블의 은닉 표현을 잠재 공간에서 선형 보간하여 믹스업을 수행한다.
• 잠재 공간에서 두 시퀀스를 선형 보간하여 증강된 시퀀스와 레이블을 생성하며, 이 과정에서 구조적 및 의미적 일관성을 유지한다.
• 생성된 시퀀스를 퍼플렉서티 점수를 사용해 평가하는 판별기를 도입하여 의미적으로 타당하지 않거나 품질이 낮은 샘플을 걸러낸다.
• 낮은 퍼플렉서티(즉, 더 자연스러운) 시퀀스만을 선택하여 훈련 세트에 포함시켜 고품질의 데이터 증강을 보장한다.
• 기존에 쿼리된 샘플들과 함께 증강된 데이터를 훈련 세트에 통합하여 각 활동 학습 반복 단계에서 레이블된 데이터 세트를 확장한다.
• 믹스업을 수행하기 위해 사전 학습된 언어 모델을 활용해 잠재 표현을 추출함으로써 효과적이고 맥락 기반의 시퀀스 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 의미적으로 타당한 레이블이 함께 부여된 시퀀스 믹스업을 통해 저자원 환경에서 활성 시퀀스 레이블링의 성능을 향상시킬 수 있는가?
• RQ2 판별기를 통한 필터링 메커니즘이 데이터 증강 과정에서 생성된 시퀀스의 타당성을 확보하는 데 얼마나 효과적인가?
• RQ3 SeqMix는 다양한 시퀀스 레이블링 작업과 자원 부족 수준에서 기준 활동 학습 방법을 일관되게 향상시키는가?
• RQ4 기본 활동 학습에 비해 SeqMix는 데이터 다양성과 모델 일반화 능력을 얼마나 향상시키는가?
• RQ5 잠재 공간에서의 믹스업은 히우리스틱 또는 사전 학습된 모델 기반 텍스트 증강과 비교해 시퀀스 레이블링에서 어떤가?

주요 결과

• SeqMix는 CoNLL-2003, ACE05, WebPage 데이터셋에서 표준 활동 학습 기준선 대비 평균 2.27%~3.75% 향상된 F1 점수를 기록한다.
• 저자원 환경에서는 WebPage 데이터셋에서 최대 16.49%의 F1 점수 향상을 기록하여 자원이 부족한 상황에서 뚜렷한 성과를 보였다.
• 판별기를 통한 필터링 메커니즘이 퍼플렉서티가 낮은 샘플을 선택함으로써 생성된 시퀀스의 품질을 크게 향상시켰다.
• 제거 실험 결과, 믹스업 전략과 판별기 모두 성능 향상에 필수적이며, 각 요소가 독립적으로 기여함을 확인했다.
• SeqMix는 다양한 데이터 사용 비율에서 기준선을 일관되게 능가하며, 특히 데이터가 적은 환경에서 가장 큰 향상을 보였다.
• 이 방법은 다양한 활동 학습 정책과 시퀀스 레이블링 작업(예: NER 및 이벤트 탐지 포함)과 호환되며 일반적인 적용이 가능하다.