[논문 리뷰] Heavy-tailed Representations, Text Polarity Classification & Data Augmentation

Hamid Jalalzai, Paolo Colombo외 5명|arXiv (Cornell University)|2020. 01. 01.

Sentiment Analysis and Opinion Mining참고 문헌 56인용 수 8

한 줄 요약

이 논문은 다변량 극단가치이론(EVT)에 적합한 무거운 尾 분포로 BERT 임베딩을 변환하는 적대적 방법인 학습된 중량 꼬리 표현(LHTR)을 제안한다. 꼬리에서의 척도 불변성 특성을 활용함으로써 LHTR는 극단적인 텍스트 시퀀스의 분류 성능을 향상시키고, 임베딩을 스케일링하여 의미적으로 유의미하고 감성에 영향을 받지 않는 텍스트를 생성하는 새로운 레이블 유지 데이터 증강 방법인 GENELIEX를 제안한다. 이 방법은 감성 분류 정확도를 향상시키며, 제어된 특성을 가진 고품질의 합성 텍스트를 생성한다.

ABSTRACT

The dominant approaches to text representation in natural language rely on learning embeddings on massive corpora which have convenient properties such as compositionality and distance preservation. In this paper, we develop a novel method to learn a heavy-tailed embedding with desirable regularity properties regarding the distributional tails, which allows to analyze the points far away from the distribution bulk using the framework of multivariate extreme value theory. In particular, a classifier dedicated to the tails of the proposed embedding is obtained which performance outperforms the baseline. This classifier exhibits a scale invariance property which we leverage by introducing a novel text generation method for label preserving dataset augmentation. Numerical experiments on synthetic and real text data demonstrate the relevance of the proposed framework and confirm that this method generates meaningful sentences with controllable attribute, e.g. positive or negative sentiment.

연구 동기 및 목표

• 극단적인 길이 또는 희귀 텍스트 시퀀스에 대한 텍스트 분류의 취약성을 해결하기 위해 꼬리 행동을 모델링하는 것.
• 표준 BERT 임베딩을 다변량 극단가치이론(EVT)에 필요한 정규 변화 조건을 만족하는 중량 꼬리 분포로 변환하는 방법을 개발하는 것.
• 텍스트 임베딩의 꼬리 영역에서 척도 불변 분류를 가능하게 하여 희귀 또는 긴 시퀀스에서의 성능을 향상시키는 것.
• 학습된 중량 꼬리 공간에서 임베딩을 스케일링하여 의미적으로 유의미하고 레이블 일관성을 유지하는 새로운 데이터 증강 프레임워크인 GENELIEX를 설계하는 것.
• 극단적인 시퀀스(더 길고 분류하기 어려운)가 BERT와 LHTR 표현 모두에서 높은 노름 값과 체계적으로 연관되어 있음을 경험적으로 검증하는 것.

제안 방법

• LHTR는 다변량 극단가치이론(EVT)에 요구되는 정규 변화 조건을 만족하는 중량 꼬리 분포로 BERT 임베딩을 변환하기 위한 적대적 훈련 절차를 사용한다.
• 이 방법은 변환된 임베딩 Z의 꼬리 행동이 멱법칙을 근사하도록 보장하여 극단점의 EVT 기반 분석을 가능하게 한다.
• 특수 설계된 각도 분류기 g는 벡터의 방향만을 사용하여 꼬리 영역 {||x||∞ ≥ t}에서 훈련되며, 척도 불변성을 활용하여 극단적 입력의 분류 성능을 향상시킨다.
• GENELIEX는 극단적 임베딩에 대해 동차성(스케일링) hλ(x) = λx (λ ≥ 1)를 적용하여 합성 시퀀스를 생성하며, 분류기 g의 척도 불변성 덕분에 예측된 레이블을 유지한다.
• 이 프레임워크는 Yelp와 Amazon 감성 데이터셋에서 검증되었으며, LHTR 임베딩은 분류 성능 향상을 보이고 GENELIEX는 일관성 있고 감성을 유지하는 텍스트를 생성한다.
• 통계적 검정(Kolmogorov-Smirnov)은 LHTR에서 극단적 시퀀스의 평균 길이가 배경 시퀀스보다 유의미하게 길다는 것을 확인하여 길이와 극단성 간의 연관성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 BERT 임베딩을 다변량 극단가치이론에 필요한 정규 변화 조건을 만족하는 중량 꼬리 분포로 변환할 수 있는가?
• RQ2 LHTR에서 변환된 임베딩의 각도 성분에 훈련된 분류기는 극단적인 텍스트 시퀀스에서 표준 분류기보다 성능이 뛰어나게 되는가?
• RQ3 학습된 중량 꼬리 표현의 꼬리 영역에서의 척도 불변성을 활용하여 외부 언어 자원 없이도 새로운 레이블 일관성 있는 텍스트 시퀀스를 생성할 수 있는가?
• RQ4 긴 또는 희귀 텍스트 시퀀스는 BERT와 LHTR 공간 모두에서 높은 노름 임베딩과 체계적으로 연관되어 있는가?
• RQ5 LHTR 표현에서 시퀀스 길이와 극단성 간에 측정 가능한 상관관계가 있으며, 이는 모델의 어려움과 관련이 있는가?

주요 결과

• LHTR는 통계적 검정(부록 B.5 참조)을 통해 BERT 임베딩을 중량 꼬리 분포로 성공적으로 변환하였으며, EVT에 필요한 정규 변화 가정을 만족함을 확인하였다.
• LHTR 임베딩에 훈련된 분류기는 원본 BERT 임베딩에 훈련된 베이스라인 분류기보다 극단적 시퀀스 (||x||∞ ≥ t)에서 더 높은 정확도를 달성하여 꼬리 입력에 대한 강건성을 입증하였다.
• GENELIEX는 λ ≥ 1로 극단적 임베딩을 스케일링하여 감성 극성 제어가 가능한 합성 시퀀스를 생성하며, 정성적 평가를 통해 생성된 문장이 의미적으로 유의미하고 원래 감성을 유지한다는 것을 확인하였다.
• LHTR 표현에서 극단적 시퀀스는 비극단적 시퀀스보다 평균적으로 유의미하게 길며, Yelp와 Amazon 데이터셋에서 양성 및 음성 클래스 모두에 대해 Kolmogorov-Smirnov 검정이 길이 분포가 동일하다는 귀무가설을 기각함(p < 0.05)으로써 길이와 극단성 간의 연관성을 뒷받침한다.
• BERT 노름과 LHTR 노름 간에 강한 양의 상관관계가 있으며, 이는 LHTR 변환 과정에서 샘플의 노름 크기 순서가 유지됨을 나타낸다.
• BERT에서 긴 시퀀스는 LHTR에서 극단적이라고 분류될 가능성이 높으며, 이러한 시퀀스는 BERT 자체의 분류 헤드에서 낮은 신뢰도 점수와도 연관되어 있어 모델링의 어려움이 증가함을 확인하였다.