[論文レビュー] Less is More: Parameter-Free Text Classification with Gzip

Zhiying Jiang, Matthew Y. R. Yang+3 more|arXiv (Cornell University)|Dec 19, 2022

Machine Learning and Data Classification被引用数 6

ひとこと要約

この論文は、gzip圧縮とk-最近傍法分類器を組み合わせたパrameterフリーなテキスト分類手法を提案しており、分布内データセットでは競争力のある精度を達成し、トレーニングやハイパーパramータチューニングなしに、分布外および少データ設定でBERTを上回る性能を示している。

ABSTRACT

Deep neural networks (DNNs) are often used for text classification tasks as they usually achieve high levels of accuracy. However, DNNs can be computationally intensive with billions of parameters and large amounts of labeled data, which can make them expensive to use, to optimize and to transfer to out-of-distribution (OOD) cases in practice. In this paper, we propose a non-parametric alternative to DNNs that's easy, light-weight and universal in text classification: a combination of a simple compressor like gzip with a $k$-nearest-neighbor classifier. Without any training, pre-training or fine-tuning, our method achieves results that are competitive with non-pretrained deep learning methods on six in-distributed datasets. It even outperforms BERT on all five OOD datasets, including four low-resource languages. Our method also performs particularly well in few-shot settings where labeled data are too scarce for DNNs to achieve a satisfying accuracy.

研究の動機と目的

• 深層ニューラルネットワークの代替手段として、軽量で汎用的かつパrameterフリーなテキスト分類手法の開発。
• ラベル付きデータが乏しい低リソース環境や分布外設定において、深層学習モデルの限界を克服すること。
• 損失なし圧縮が、テキスト分類のための効果的でデータに依存しない距離尺度として機能できるかどうかを検証すること。
• 多様なデータセット、特に低リソースおよび多言語環境を含む設定において、手法の性能を評価すること。
• テキストの圧縮可能性と分類性能の相関関係を示し、特に少データ状況においてその関連性を明らかにすること。

提案手法

• Kolモゴロフ複雑度から導出された圧縮に基づく距離尺度を推定するために、gzipを損失なし圧縮手法として用いる。
• 各テストインスタンスに対して、訓練インスタンスとテストインスタンスの連結の圧縮長を計算し、訓練インスタンス単体の圧縮長との差を類似度として用いる。
• k-最近傍法分類器は、圧縮差が最小となるk個の訓練インスタンスを選出し、テストインスタンスのクラスを予測する。
• モデルのトレーニングやファインチューニング、ハイパーパramータ最適化を一切行わず、テキスト内のパターンを抽出できる圧縮機の能力に依存する。
• 複数のデータセットおよび圧縮機（gzip、zstd、bz2、lzma）を用いて手法を適用し、フル設定および少データ設定の両方で性能を評価する。
• 圧縮に基づく距離尺度を、各クラスの全訓練サンプルを連結した際の交差エントロピー法 $C(d_c d_u) - C(d_c)$ と比較する。

実験結果

リサーチクエスチョン

• RQ1 gzip圧縮に基づく非パramトリックでパrameterフリーな手法が、トレーニングやファインチューニングなしに競争力のあるテキスト分類精度を達成できるか？
• RQ2 分布内データセットにおいて、提案手法は非事前学習済みの深層学習モデルと比べてどのように性能を発揮するか？
• RQ3 分布外および低リソースデータセットにおいて、BERTのような事前学習モデルを上回るか？
• RQ4 限られたラベル付きデータしかない少データ学習状況において、この手法はどの程度効果的か？
• RQ5 テキストの圧縮可能性と分類精度の関係は何か？また、異なる圧縮機の性能にどのような影響を与えるか？

主な発見

• 提案手法は6つの分布内データセットで競争力ある精度を達成し、トレーニングなしに非事前学習済みの深層学習モデルと同等またはそれを上回った。
• 4つの低リソース言語を含む5つの分布外データセットにおいて、BERTを上回った。これは、強い汎化能力を示している。
• ラベル付きデータが極めて限られた少データ設定において、非事前学習済みの深層学習モデルを著しく上回った。
• gzipは全データセットで安定的かつ高い性能を発揮した。lzmaは競争力はあるが遅い。bz2は高い圧縮比を示したが、性能は低く、順序に敏感な圧縮のためと推測される。
• 少データ設定において、圧縮比とテスト精度の間に中程度から強い線形相関（ピアソン $r_p = 0.719$）が認められ、圧縮可能性が分類成功を予測する要因である可能性を示唆している。
• 長文テキスト（例：SogouNews）において、圧縮差を用いたk-NN手法は、従来の交差エントロピー法 ($C(d_c d_u) - C(d_c)$) よりも優れた性能を示した。後者は大規模な訓練セットを効果的に活用できなかった。