[논문 리뷰] Heavy-tailed Representations, Text Polarity Classification & Data Augmentation

Hamid Jalalzai, Pierre Colombo외 5명|arXiv (Cornell University)|2020. 03. 25.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 다변량 극단가치이론(EVT)의 규칙성 조건을 만족하는 무거운 尾 분포로 텍스트 임베딩을 변환하는 새로운 적대적 방법인 학습된 중량 꼬리 표현(LHTR)을 제안한다. LHTR의 각도 성분에서의 척도 불변성 특성을 활용함으로써, 극단적 텍스트 샘플의 분류 성능을 향상시키고, 새로운 레이블 유지 데이터 증강 방법(GENELIEX)을 가능하게 한다. 이 방법은 고규모 시퀀스를 스케일링하여 의미적으로 유의미하고 감성 일致성을 유지하는 텍스트를 생성하며, 감성 분류 과제에서 기준 모델들을 능가한다.

ABSTRACT

The dominant approaches to text representation in natural language rely on learning embeddings on massive corpora which have convenient properties such as compositionality and distance preservation. In this paper, we develop a novel method to learn a heavy-tailed embedding with desirable regularity properties regarding the distributional tails, which allows to analyze the points far away from the distribution bulk using the framework of multivariate extreme value theory. In particular, a classifier dedicated to the tails of the proposed embedding is obtained which performance outperforms the baseline. This classifier exhibits a scale invariance property which we leverage by introducing a novel text generation method for label preserving dataset augmentation. Numerical experiments on synthetic and real text data demonstrate the relevance of the proposed framework and confirm that this method generates meaningful sentences with controllable attribute, e.g. positive or negative sentiment.

연구 동기 및 목표

• 분포 꼬리에 위치한 희귀하고 고규모 텍스트 샘플을 다룰 때 자연어 처리(NLP) 모델의 낙제를 해결하기 위해.
• 표준 텍스트 임베딩(예: BERT)을 다변량 극단가치이론(EVT) 분석에 적합한 중량 꼬리 분포로 변환하는 방법을 개발하기 위해.
• 학습된 표현의 각도 성분에서의 척도 불변성을 활용하여 레이블 유지 데이터 증강을 수행하기 위해.
• 극단적 텍스트(규모 기준)가 더 모델링하기 어렵고 분류하기 어려운 점을 경험적으로 검증하여, 전용 극단 영역 분류기의 필요성을 정당화하기 위해.
• 긴 시퀀스와 고BERT 규모가 LHTR 공간에서 극단적 행동과 상관이 있음을 보여주기 위해.

제안 방법

• LHTR는 입력 텍스트 임베딩을 중량 꼬리 분포로 매핑하는 변환을 학습하기 위해 적대적 훈련 전략을 사용한다. 이 분포는 힘의 법칙 꼬리 행동을 보인다.
• 이 방법은 변환된 벡터의 각도 성분 Θ(x) = ||x||⁻¹x 가 극단적 행동을 포착하도록 보장하여, EVT 기반 분류를 가능하게 한다.
• 특정 각도 분류기가 꼬리 영역 {||x|| ≥ t}에서 훈련되며, 여기서 t는 높은 임계값(예: 규모의 25번째 백분위수)이다. 이는 척도 불변성을 활용한다.
• 이 프레임워크는 고규모 시퀀스를 λ > 1로 스케일링하여 레이블을 유지하는 새로운 데이터 증강 방법인 GENELIEX를 가능하게 한다.
• BERT 임베딩을 입력으로 사용하여 Yelp와 Amazon 감성 데이터셋에서 검증되었으며, 규모 기반 임계값이 극단적 샘플을 정의한다.
• 시퀀스 길이, BERT 규모, LHTR 규모, 언어 모델 손실 간 상관관계 평가에 통계적 검정(Pearson 및 Spearman)을 사용한다.

실험 결과

연구 질문

• RQ1 다변량 극단가치이론(EVT)의 규칙성 가정을 만족하는 텍스트 임베딩의 중량 꼬리 표현을 학습할 수 있는가?
• RQ2 LHTR 표현의 각도 성분이 극단적 텍스트 샘플(예: 긴 또는 희귀한 시퀀스)의 분류 성능 향상에 기여하는가?
• RQ3 LHTR 표현에서의 척도 불변성을 활용하여 감성 레이블을 유지하는 합성 텍스트를 생성할 수 있는가?
• RQ4 BERT 또는 LHTR 표현에서 규모 기준으로 극단적인 텍스트는 다음 토큰 예측 손실 측정 기준으로 더 모델링하기 어려운가?
• RQ5 시퀀스 길이, BERT 규모, LHTR 규모, 그리고 모델링 어려움(LM 손실) 간에 유의미한 상관관계가 있는가?

주요 결과

• 시퀀스 길이, BERT 규모, LHTR 규모, 언어 모델 손실 간 모든 쌍별 상관관계가 통계적으로 유의미했으며(p < 10⁻¹⁶), 강한 양의 의존성을 나타냈다.
• LHTR 표현에서 극단적 샘플은 비극단적 샘플보다 평균적으로 훨씬 길었으며, 콜모고로프-스미르노프 검정을 통해 길이 분포의 동등성 가설이 기각되었음(p < 0.05).
• LHTR 규모와 BERT 규모 간의 상관관계가 뚜렷하여, 변환 과정에서 샘플의 규모 크기 순서가 유지됨을 시사한다.
• 고규모 텍스트(극단적 샘플)는 더 높은 다음 토큰 예측 손실을 보이며 더 모델링하기 어려운 것으로 확인되어 복잡성이 증가했음을 확인했다.
• 극단 영역에서 훈련된 각도 분류기가 비극단 샘플에 대해 표준 분류기보다 우수한 성능을 보였으며, 극단 NLP 과제에서 EVT 기반 방법의 필요성을 검증했다.
• GENELIEX는 고규모 시퀀스를 스케일링하여 의미적으로 유의미하고 감성 일치성을 유지하는 텍스트를 성공적으로 생성하여, 척도 불변성의 실용적 유용성을 입증했다.