[논문 리뷰] Less is More: Parameter-Free Text Classification with Gzip

Zhiying Jiang, Matthew Y. R. Yang외 3명|arXiv (Cornell University)|2022. 12. 19.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 gzip 압축과 k-최근접 이웃 분류기의 조합을 통해 학습 또는 하이퍼파라미터 튜닝 없이도 분포 내 데이터셋에서 경쟁 가능한 정확도를 달성하고, 분포 외 및 소수 샘플 설정에서 BERT를 능가하는 파라미터 없는 텍스트 분류 방법을 제안한다.

ABSTRACT

Deep neural networks (DNNs) are often used for text classification tasks as they usually achieve high levels of accuracy. However, DNNs can be computationally intensive with billions of parameters and large amounts of labeled data, which can make them expensive to use, to optimize and to transfer to out-of-distribution (OOD) cases in practice. In this paper, we propose a non-parametric alternative to DNNs that's easy, light-weight and universal in text classification: a combination of a simple compressor like gzip with a $k$-nearest-neighbor classifier. Without any training, pre-training or fine-tuning, our method achieves results that are competitive with non-pretrained deep learning methods on six in-distributed datasets. It even outperforms BERT on all five OOD datasets, including four low-resource languages. Our method also performs particularly well in few-shot settings where labeled data are too scarce for DNNs to achieve a satisfying accuracy.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 대체로 경량화되고 보편적이며 파라미터 없는 텍스트 분류 방법을 개발하기 위해.
• 라벨이 부족한 저자원 및 분포 외 설정에서 딥 러닝 모델의 한계를 해결하기 위해.
• 손실 없는 압축이 텍스트 분류를 위한 효과적이고 데이터에 종속되지 않는 거리 측도로 기능할 수 있는지 탐구하기 위해.
• 다양한 데이터셋, 특히 저자원 및 다국어 설정에서의 성능 평가를 위해.
• 압축 가능성과 분류 성능 간의 상관관계를 입증하고, 특히 소수 샘플 시나리오에서 그 중요성을 보여주기 위해.

제안 방법

• 방법은 콜모고로프 복잡도에서 유도된 압축 기반 거리 측도를 추정하기 위해 gzip을 손실 없는 압축기로 사용한다.
• 각 테스트 인스턴스에 대해, 학습 인스턴스와 테스트 인스턴스를 연결한 결과물의 압축 길이를 계산하고, 학습 인스턴스만 압축한 길이와의 차이를 유사도 측도로 사용한다.
• k-최근접 이웃 분류기는 가장 작은 압축 차이를 보인 k개의 학습 인스턴스를 선택하여 테스트 인스턴스의 클래스를 예측한다.
• 이 방법은 모델 학습, 튜닝 또는 하이퍼파라미터 최적화를 전혀 필요로 하지 않으며, 오직 압축기가 텍스트 내 규칙성을 포착하는 능력에 의존한다.
• 이 방법은 여러 데이터셋과 압축기(gzip, zstd, bz2, lzma)에 적용되며, 전체 및 소수 샘플 설정에서 성능 평가가 이루어진다.
• 압축 기반 거리 측도는 각 클래스의 모든 학습 샘플을 연결한 $C(d_c d_u) - C(d_c)$ 방식의 전통적인 교차 엔트로피 방법과 비교된다.

실험 결과

연구 질문

• RQ1 gzip 압축 기반의 비모수적이고 파라미터 없는 방법이 학습 또는 튜닝 없이도 경쟁 가능한 텍스트 분류 정확도를 달성할 수 있는가?
• RQ2 제안된 방법은 분포 내 데이터셋에서 비프리트레인된 딥 러닝 모델보다 어떻게 성능을 내는가?
• RQ3 이 방법은 분포 외 및 저자원 데이터셋에서 BERT와 같은 프리트레인된 모델을 능가하는가?
• RQ4 제한된 라벨 데이터가 있는 소수 샘플 학습 시나리오에서 이 방법의 효과는 어떠한가?
• RQ5 텍스트의 압축 가능성과 분류 정확도 간의 관계는 무엇이며, 다양한 압축기의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 여섯 개인 분포 내 데이터셋에서 경쟁 가능한 정확도를 달성했으며, 학습 없이도 비프리트레인된 딥 러닝 모델과 동등하거나 이를 초월했다.
• 다섯 개인 분포 외 데이터셋, 특히 네 개의 저자원 언어를 포함하여, 이 방법은 BERT를 능가했으며, 강력한 일반화 능력을 보였다.
• 라벨 데이터가 극도로 제한된 소수 샘플 설정에서, 이 방법은 비프리트레인된 딥 러닝 모델보다 뚜렷이 뛰어난 성능을 보였다.
• gzip은 다양한 데이터셋에서 가장 안정적이고 높은 성능을 보였으며, lzma는 경쟁력은 있지만 느렸다; bz2는 높은 압축 비율에도 불구하고 성능이 열등했으며, 이는 순서 민감성 압축 때문일 가능성이 높다.
• 소수 샘플 설정에서 압축 비율과 테스트 정확도 사이에 중간 정도에서 강한 선형 상관관계(r_p = 0.719)가 존재하여, 압축 가능성은 분류 성공 여부를 예측하는 데 도움이 된다고 시사한다.
• 압축 차이를 사용하는 k-NN 방법은 SogouNews와 같이 긴 텍스트에서 기존 교차 엔트로피 방법($C(d_c d_u) - C(d_c)$)보다 성능이 뛰어나며, 이는 후자의 경우 대규모 학습 세트를 효과적으로 활용하지 못하기 때문이다.