[논문 리뷰] LST: Lexicon-Guided Self-Training for Few-Shot Text Classification

Hazel Kim, Jaeman Son외 1명|arXiv (Cornell University)|2022. 02. 05.

Text and Document Classification Technologies인용 수 4

한 줄 요약

LST는 소수의 샘플로 텍스트 분류를 수행할 때 의사 레이블의 신뢰성을 향상시키기 위해 언어학적으로 풍부한 어휘 지식을 통합한 어휘 유도 자기학습 방법을 제안한다. 주어진 어휘를 주의 힘에 기반한 빈도 높은 단어로 정제하고 어휘 기반 데이터 증강을 적용함으로써, LST는 30개의 레이블이 있는 클래스당 라벨이 있는 다섯 가지 벤치마크 데이터셋에서 기존 방법보다 1.0–2.0% 높은 최고 성능을 달성한다.

ABSTRACT

Self-training provides an effective means of using an extremely small amount of labeled data to create pseudo-labels for unlabeled data. Many state-of-the-art self-training approaches hinge on different regularization methods to prevent overfitting and improve generalization. Yet they still rely heavily on predictions initially trained with the limited labeled data as pseudo-labels and are likely to put overconfident label belief on erroneous classes depending on the first prediction. To tackle this issue in text classification, we introduce LST, a simple self-training method that uses a lexicon to guide the pseudo-labeling mechanism in a linguistically-enriched manner. We consistently refine the lexicon by predicting confidence of the unseen data to teach pseudo-labels better in the training iterations. We demonstrate that this simple yet well-crafted lexical knowledge achieves 1.0-2.0% better performance on 30 labeled samples per class for five benchmark datasets than the current state-of-the-art approaches.

연구 동기 및 목표

• 제한된 레이블 데이터로 인해 신뢰할 수 없는 의사 레이블이 생성되어 발생하는 과도한 확신과 오류 전파 문제를 해결한다.
• 모델의 신뢰도 외에 구조화된 어휘 지식을 통합하여 소수의 샘플로 텍스트 분류에서 의사 레이블의 신뢰성을 향상시킨다.
• 신뢰도 정규화, 선택적 샘플링, 노이즈 주입을 위한 어휘를 활용하는 단순하면서도 효과적인 방법을 개발한다.
• 정렬된 어휘가 의미적으로 유의미한 단어 계층 구조(동의어, 하위 개념어 등)를 포함할 경우, 최소한의 레이블 데이터로 모델의 일반화 능력을 향상시킬 수 있음을 보여준다.
• 어휘 지식을 데이터 증강을 통해 통합함으로써 모델의 강인성과 미리 보지 않은 예측에 대한 성능 향상을 입증한다.

제안 방법

• 각 클래스의 상위 주의 힘을 가진 단어를 사용하여 금속 레이블 데이터에서 초기 어휘를 구축한다. 이는 대표적인 용어를 포착하기 위함이다.
• 가장 확신도가 높은 주의 힘을 가진 단어들 중에서 빈도가 높은 상위 k%의 단어를 선택하여 어휘를 정제한다. 이는 커버리지와 신뢰성의 균형을 맞추기 위함이다.
• 정제된 어휘를 신뢰도 조절자로 사용하여 의사 레이블을 필터링하고 안내함으로써 잘못된 예측에서의 과도한 확신을 줄인다.
• 어휘와 일치하는 단어를 포함한 미레이블된 예측을 우선순위로 삼는 선택적 샘플링을 구현함으로써 학습 데이터의 정보량을 높인다.
• WordNet을 사용하여 입력 텍스트의 의미적으로 유사한 변형을 생성함으로써 데이터 증강을 적용한다. 이는 어휘를 풍부하게 하고 일반화 능력을 향상시킨다.
• 교사-학생 프레임워크에서 어휘와 모델을 반복적으로 업데이트함으로써 자기학습을 수행한다. 학생 모델은 레이블이 있는 데이터와 어휘 기반 의사 레이블에서 학습한다.

실험 결과

연구 질문

• RQ1 모델의 신뢰도 외에 언어학적으로 풍부한 어휘 지식을 통합함으로써 소수의 샘플로 텍스트 분류에서 의사 레이블의 신뢰성을 향상시킬 수 있는가?
• RQ2 어휘 일치 기반의 선택적 샘플링이 자원이 제한된 환경에서 자기학습의 성능에 어떤 영향을 미치는가?
• RQ3 어휘 기반 데이터 증강이 자기학습에서 모델의 일반화 능력을 향상시키고 오류 누적을 줄이는 데 얼마나 기여하는가?
• RQ4 소수의 샘플 학습에서 성능을 최대화하기 위해 어휘 크기와 단어의 신뢰도 사이의 최적의 균형은 무엇인가?
• RQ5 자기학습을 위한 텍스트 분류에서 어휘 지식을 신뢰도 조절자로 통합하는 것이 복잡한 정규화 기법보다 우수한가?

주요 결과

• LST는 다섯 가지 벤치마크 데이터셋에서 전반적으로 최고 성능을 기록하며, 클래스당 레이블이 30개뿐인 조건에서 기존 자기학습 방법보다 정확도를 1.0–2.0% 향상시켰다.
• 가장 높은 성능는 주의 힘을 가진 단어들 중에서 상위 10%의 빈도 높은 단어를 선택하여 정제한 어휘를 사용했을 때 달성되었으며, 더 작은(1%) 또는 더 큰(50%, 100%) 어휘 크기보다 우수했다.
• 데이터 증강 없이도 LST는 표준 자기학습보다 평균적으로 3个百分点 높은 성능를 보였으며, 이는 어휘가 의사 레이블 품질 향상에 핵심적인 역할을 한다는 것을 확인한다.
• 어휘 기반 데이터 증강은 어휘를 풍부하게 하고 의미 있는 미레이블 예측을 식별하는 데 모델의 능력을 향상시켜 약 1%의 정확도 향상을 기여한다.
• 정제된 어휘는 효과적인 신뢰도 조절자이자 선택적 샘플러로 작용하여 오류 전파를 줄이고 모델의 일반화 능력을 향상시킨다.
• 이 방법은 강력한 데이터 증강 기반인 UDA를 평균적으로 3个百分点 이상 뛰어넘어 어휘 유도 학습의 우수성을 입증한다.