[논문 리뷰] Prompt-ICM: A Unified Framework towards Image Coding for Machines with Task-driven Prompts

Ruoyu Feng, Jinming Liu외 4명|arXiv (Cornell University)|2023. 05. 04.

Advanced Image Processing Techniques인용 수 7

한 줄 요약

Prompt-ICM는 기계 비전을 위한 통합된 이미지 인코딩 프레임워크를 제안하며, 작업 기반 프롬프트를 사용하여 압축과 특징 적응을 최적화합니다. 압축 프롬프트를 통해 콘텐츠 인식 기반 비트 할당을 하고, 작업 적응형 프롬프트를 통해 최종 특징 조정을 실현함으로써, 다양한 비전 작업에서 최신 기술 수준의 성능을 달성하면서도 추가 파rameter가 최소화됩니다.

ABSTRACT

Image coding for machines (ICM) aims to compress images to support downstream AI analysis instead of human perception. For ICM, developing a unified codec to reduce information redundancy while empowering the compressed features to support various vision tasks is very important, which inevitably faces two core challenges: 1) How should the compression strategy be adjusted based on the downstream tasks? 2) How to well adapt the compressed features to different downstream tasks? Inspired by recent advances in transferring large-scale pre-trained models to downstream tasks via prompting, in this work, we explore a new ICM framework, termed Prompt-ICM. To address both challenges by carefully learning task-driven prompts to coordinate well the compression process and downstream analysis. Specifically, our method is composed of two core designs: a) compression prompts, which are implemented as importance maps predicted by an information selector, and used to achieve different content-weighted bit allocations during compression according to different downstream tasks; b) task-adaptive prompts, which are instantiated as a few learnable parameters specifically for tuning compressed features for the specific intelligent task. Extensive experiments demonstrate that with a single feature codec and a few extra parameters, our proposed framework could efficiently support different kinds of intelligent tasks with much higher coding efficiency.

연구 동기 및 목표

• 사람의 시각이 아닌 다양한 최종 응용 AI 작업을 위한 이미지 압축 최적화 문제를 해결한다.
• 작업 특화 코덱과 일반적인 특징 코덱의 한계를 극복하여 단일 코덱이 여러 작업을 지원할 수 있도록 한다.
• 작업 특화 재학습이나 별도의 코덱이 필요로 하는 비용을 최소화함으로써 계산 및 저장 비용을 절감한다.
• 파rameter 효율적인 튜닝 메커니즘을 통해 최종 작업으로의 효율적 전이를 가능하게 한다.

제안 방법

• 압축 프롬프트를 도입하여 경량 정보 선택기로 예측된 작업 조건 기반 중요도 맵을 사용해 압축 중 콘텐츠 가중 비트 할당을 안내한다.
• 공간적으로 가변 비트 전달률을 갖는 특징 압축 모델을 구현하여 압축 프롬프트를 활용해 의미적으로 중요한 영역에 더 많은 비트를 할당한다.
• 작업 적응형 프롬프트를 소규모 학습 가능한 파rameter 집합으로 설계하여 특정 최종 작업에 맞게 압축된 특징을 보정한다.
• 압축과 최종 분석 간의 일치를 보장하기 위해 통합된 비율 및 작업 특화 손실 최적화를 통해 프레임워크를 종단 간(end-to-end)으로 훈련한다.
• 특징 추출을 위해 사전 학습된 백본을 활용하고 정보 선택기를 사용해 작업 의미에 따라 압축을 동적으로 적응시킨다.
• 최소한의 추가 파arameter를 가진 통합 코덱을 사용하여 여러 비전 작업 간 효율적인 구현을 가능하게 한다.

Figure 1: Different pipelines of image coding for machines (ICM): (a). Using the compressed images to support downstream tasks; (b). One-to-one feature-based ICM pipeline; (c). General features based ICM pipelines which ignores the explicit interaction between the compression task and downstream tas

실험 결과

연구 질문

• RQ1 다양한 최종 비전 작업에 따라 이미지 압축을 어떻게 동적으로 적응시켜 효율적인 인코딩을 향상시킬 수 있는가?
• RQ2 작업 특화 코덱이 필요 없이 작업 기반 프롬프트가 압축과 최종 분석을 효과적으로 조율할 수 있는가?
• RQ3 소규모 학습 가능한 파arameter 집합(작업 적응형 프롬프트)이 전체 미세조정과 비교해 어느 정도의 성능을 달성할 수 있는가?
• RQ4 압축 프롬프트는 어떻게 작업 특화 중요도를 반영하며, 그 의미적 일치성을 검증하기 위해 시각화가 가능한가?

주요 결과

• Prompt-ICM는 단일 통합 코덱을 사용하여 이미지 분류, 객체 검출, 세분화 작업에서 최신 기술 수준의 성능을 달성한다.
• 압축 프로세스 기반 기준선 및 Omni-ICM보다 비율-왜곡 성능에서 뚜렷한 우월성을 보이며, 학습 가능한 파arameter 수가 훨씬 적다.
• 작업 적응형 프롬프트 튜닝은 전체 미세조정보다 뛰어난 성능을 달성했으며, 전체 튜닝의 87.61M 대비 0.87M의 파arameter만을 사용한다.
• 압축 프롬프트는 시각적으로 작업 관련 영역에 맞춰져 있으며, 작업 유형에 따라 객체 경계나 특징적 요소에 집중한다.
• 제거 분석 결과 압축 프롬프트가 비율-왜곡 성능을 향상시키며, 특히 여러 의미 수준의 특징을 사용할 경우 더욱 뚜렷한 개선 효과를 보인다.
• 최소한의 파arameter 오버헤드로 다양한 작업에서 높은 성능을 유지함으로써 강력한 일반화 능력과 효율성을 입증한다.

Figure 2: The framework of our proposed Prompt-ICM (taking Swin-T as an example). Downstream transferring is performed via task-driven prompt tuning. By tuning the lightweight information selector and task-adaptive prompts, Prompt-ICM could efficiently support various downstream tasks, e.g., classif