[論文レビュー] Lossy Compression for Lossless Prediction

Yann Dubois, Benjamin Bloem-Reddy+2 more|arXiv (Cornell University)|Jun 21, 2021

Image and Signal Denoising Methods被引用数 4

ひとこと要約

本論文は、回転やクロッピングなどのデータオーグメンテーションに対して不変である予測タスクに必要な情報のみを保持する、新しい損失圧縮フレームワークを提案する。すべてのこのようなタスクで高い性能を維持するために必要な最小ビットレートを形式化することで、変分オートエンコーダーと対照的自己教師型学習にインspiredされた教師なしニューラル圧縮器を設計し、JPEGと比較してImageNet上で1000倍以上のビットレート削減を達成した。これにより、下流分類タスクの精度に低下は生じなかった。

ABSTRACT

Most data is automatically collected and only ever "seen" by algorithms. Yet, data compressors preserve perceptual fidelity rather than just the information needed by algorithms performing downstream tasks. In this paper, we characterize the bit-rate required to ensure high performance on all predictive tasks that are invariant under a set of transformations, such as data augmentations. Based on our theory, we design unsupervised objectives for training neural compressors. Using these objectives, we train a generic image compressor that achieves substantial rate savings (more than $1000 imes$ on ImageNet) compared to JPEG on 8 datasets, without decreasing downstream classification performance.

研究の動機と目的

• 感覚的忠実度を重視するが、アルゴリズム的有用性を無視する従来の損失圧縮方式の非効率性に対処する。
• ユーザー定義の変換（例：回転、明るさ）に対して不変なすべての下流タスクで高い性能を確保するための最小ビットレートを形式化する。
• 下流タスクのラベルにアクセスせずに、理論的最適レートに近い教師なしニューラル圧縮目的を設計する。
• 再訓練なしに、さまざまなデータセットに対してゼロショット一般化を実証する。
• 予測性能を保持したまま、画像分類や銀河形態解析などのタスクで顕著なレート削減を実現する。

提案手法

• 同じ例の変換版を識別するという最悪ケースの不変タスクを定義し、すべてのこのようなタスクに必要なビットレートの上限を設定する。
• 最適圧縮レートを、入力と最悪ケースラベル間の相互情報量として形式化し、歪み制約の下でレートを最小化する。
• 2つの教師なし学習目的を設計：1つは標準例の再構築を目的とした変分オートエンコーディングに基づくもの、もう1つは不変表現を学ぶために対照的自己教師型学習（SSL）を適応したもの。
• CLIPやResNetに基づくエンコーダーを用いて特徴を抽出し、BINCEと呼ばれるニューラル圧縮器を訓練して、レートを最小化しながら不変タスクに必要な情報を保持する。
• 下流ラベルにアクセスせずに、不変構造と対照的目的にのみ依存してデータに圧縮器を適用する。
• 圧縮効率と予測的有用性のバランスを取るレート歪み目的を用いて、圧縮器をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 与えられた変換の集合に対して不変なすべての予測タスクで高い性能を確保するための最小ビットレートは何か？
• RQ2 下流タスクのラベルにアクセスせずに、この最適レートに近い教師なしニューラル圧縮器を設計できるか？
• RQ3 1つのデータセットで訓練した圧縮器が、関連のない他のデータセットに対してゼロショットでどの程度一般化できるか？
• RQ4 事前学習済みの自己教師型モデル（例：CLIP）を、不変予測のための汎用圧縮器として再利用できる程度はどれほどか？
• RQ5 提案された圧縮器は、多様で現実世界のデータセット（例：JPEG、WebPなど）において、最先端の感覚的圧縮器と比較してどの程度の性能を示すか？

主な発見

• すべてのオーグメンテーション不変タスクで高い性能を確保するための理論的最小ビットレートは、まさに最悪ケースのラベル（すなわち、変換された例を識別する）を圧縮するために必要なレートに正確に一致する。
• 提案された圧縮器は、JPEGと比較してImageNet上で1000倍以上のビットレート削減を達成したが、下流画像分類タスクの精度に低下は見られなかった。
• 銀河形態解析データセット（GalaxyZooを含む）を含む8つの多様なデータセットにおいて、圧縮器はゼロショットで一般化し、JPEGやWebPよりもレートを低下させつつ、予測性能を維持または向上させた。
• GalaxyZooでは、CLIPベースの圧縮器が1ピクセルあたり0.33 Mbのビットレートを達成したのに対し、WebPは0.48 Mbで、テスト損失が低く、エンドツーエンドで訓練されたBINCEよりも一般化性能が優れていた。
• 対照的自己教師型事前学習（例：CLIP）の使用により、強力なゼロショット一般化が可能となり、CLIPベースの圧縮器は、ResNet50をエンドツーエンドで微調整したモデルよりも顕著に優れた性能を示した。
• 線形およびMLP分類器が、圧縮表現で類似した性能を示したため、情報が容易に復号可能であることが示された。これは、対照的SSLモデルの性質と整合的である。