[논문 리뷰] Lossy Compression for Lossless Prediction

Yann Dubois, Benjamin Bloem-Reddy외 2명|arXiv (Cornell University)|2021. 06. 21.

Image and Signal Denoising Methods인용 수 4

한 줄 요약

이 논문은 데이터 증강(예: 회전, 자르기)에 대해 불변인 최소한의 예측 작업을 위한 정보만 유지하는 새로운 손실 압축 프레임워크를 제안한다. 이러한 작업에 대해 높은 성능을 유지를하기 위해 필요한 최소 비트레이트를 수식적으로 정의함으로써, 변동형 오토인코더와 대비 학습 기반 자기지도 학습에 영감을 받은 비지도 신경 압축기들을 설계하였으며, JPEG 대비 ImageNet에서 1000배 이상의 비트레이트 감소를 이룩하면서도 최종 분류 정확도에 하락이 없음을 확인하였다.

ABSTRACT

Most data is automatically collected and only ever "seen" by algorithms. Yet, data compressors preserve perceptual fidelity rather than just the information needed by algorithms performing downstream tasks. In this paper, we characterize the bit-rate required to ensure high performance on all predictive tasks that are invariant under a set of transformations, such as data augmentations. Based on our theory, we design unsupervised objectives for training neural compressors. Using these objectives, we train a generic image compressor that achieves substantial rate savings (more than $1000 imes$ on ImageNet) compared to JPEG on 8 datasets, without decreasing downstream classification performance.

연구 동기 및 목표

• 시각적 품질을 우선시하는 전통적 손실 압축기의 효율성 부족 문제를 해결한다.
• 사용자 정의된 변환(예: 회전, 밝기 조절)에 대해 불변인 모든 최종 작업에서 높은 성능을 보장하기 위해 필요한 최소 비트레이트를 수식적으로 정의한다.
• 최종 작업 레이블에 접근할 수 없더라도 이론적으로 최적의 레이트를 근사하는 비지도 신경 압축 목표를 개발한다.
• 재학습 없이도 다양한 데이터셋에 대해 압축기의 제로샷 일반화 성능을 입증한다.
• 이미지 분류나 은하 형상 분석과 같은 작업에서 예측 성능을 유지하면서도 상당한 레이트 절감을 가능하게 한다.

제안 방법

• 동일한 예제의 변형된 형태를 식별하는 최악의 경우 불변 작업을 정의함으로써, 이러한 작업 전부에 필요한 비트레이트의 상한선을 설정한다.
• 입력과 최악의 경우 레이블 간의 상호정보량을 최적의 압축 레이트로 정의하며, 왜곡 제약 하에서 비트레이트를 최소화한다.
• 두 가지 비지도 학습 목표를 설계한다: 하나는 표준 예제를 재구성하기 위한 변동형 오토인코딩 기반 목표이며, 다른 하나는 불변 표현을 학습하기 위해 대비 자기지도 학습(SSL)을 변형한 목표이다.
• CLIP 또는 ResNet 기반의 인코더를 사용해 특징을 추출한 후, 불변 작업에 필요한 정보를 유지하면서 비트레이트를 최소화하는 신경 압축기(BINCE)를 훈련한다.
• 최종 작업 레이블에 접근하지 않고도, 불변성 구조와 대비 목표에만 의존하여 데이터에 압축기를 적용한다.
• 압축 효율성과 예측 유용성을 균형 잡는 레이트-왜곡 목표를 사용해 압축기를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 주어진 변환 집합에 대해 불변인 모든 예측 작업에서 높은 성능을 보장하기 위해 필요한 최소 비트레이트는 얼마인가?
• RQ2 최종 작업 레이블에 접근할 수 없더라도, 이 이론적 최적 레이트를 근사하는 비지도 신경 압축기를 설계할 수 있는가?
• RQ3 한 데이터셋에서 학습한 압축기가 재학습 없이도 관련 없는 다른 데이터셋에 대해 얼마나 잘 일반화되는가?
• RQ4 사전 훈련된 자기지도 학습 모델(예: CLIP)을 얼마나 잘 활용해 일반 목적의 불변 예측 압축기로 전환할 수 있는가?
• RQ5 제안된 압축기의 성능은 다양한 실제 데이터셋에서 최신 시각적 압축기(예: JPEG, WebP)와 비교해 어떻게 되는가?

주요 결과

• 모든 증강에 대해 불변인 작업에서 높은 성능을 확보하기 위한 이론적 최소 비트레이트는 정확히 최악의 경우 레이블을 압축하는 데 필요한 비트레이트와 일치한다(즉, 변형된 예제를 식별하는 데 필요한 비트레이트).
• 제안된 압축기는 JPEG 대비 ImageNet에서 1000배 이상의 비트레이트 감소를 달성하면서도 최종 이미지 분류 정확도에 하락이 없음을 확인하였다.
• 비자연적 이미지가 포함된 GalaxyZoo를 포함한 8개의 다양한 데이터셋에서, 압축기는 재학습 없이 제로샷 일반화 성능을 보이며, JPEG 및 WebP보다 레이트는 낮추면서도 예측 성능은 유지하거나 향상시켰다.
• GalaxyZoo에서 CLIP 기반 압축기는 0.33 Mb/img의 비트레이트를 기록했으며, WebP의 0.48 Mb/img보다 낮고, 엔드 투 엔드로 훈련된 BINCE보다 낮은 테스트 손실과 더 나은 일반화 성능를 보였다.
• 대비 자기지도 학습(예: CLIP)의 사전 훈련을 활용하면 강력한 제로샷 일반화 성능를 달성할 수 있으며, CLIP 기반 압축기는 GalaxyZoo에서 엔드 투 엔드로 미세조정된 ResNet50보다 뚜렷이 뛰어난 성능을 보였다.
• 선형 및 MLP 분류기는 압축된 표현에서 유사한 성능를 기록하였으며, 이는 정보가 쉽게 복호화 가능하다는 점을 시사하며, 대비 SSL 모델의 특성과 일치한다.