[논문 리뷰] Pragmatic Image Compression for Human-in-the-Loop Decision-Making

Siddharth Reddy, Anca D. Dragan외 1명|arXiv (Cornell University)|2021. 07. 07.

Simulation Techniques and Applications인용 수 4

한 줄 요약

이 논문은 인간이 참여하는 학습 방식인 실용적 이미지 압축(PICO)을 제안한다. PICO는 특정 작업을 수행하기 위해 사용자가 필요로 하는 시각적 특징만 유지함으로써 더 낮은 비트레이트로 이미지를 압축한다. 원본 이미지와 압축된 이미지에서 사용자가 동일한 행동을 유도하도록 압축 모델을 훈련시키며, 원본과 압축된 이미지의 반응을 구분하는 적대적 판별기(adversarial discriminator)를 사용함으로써, 다양한 작업에서 비트레이트를 2–4배 감소시키면서도 功能적 유사성(functional similarity)을 유지한다.

ABSTRACT

Standard lossy image compression algorithms aim to preserve an image's appearance, while minimizing the number of bits needed to transmit it. However, the amount of information actually needed by a user for downstream tasks -- e.g., deciding which product to click on in a shopping website -- is likely much lower. To achieve this lower bitrate, we would ideally only transmit the visual features that drive user behavior, while discarding details irrelevant to the user's decisions. We approach this problem by training a compression model through human-in-the-loop learning as the user performs tasks with the compressed images. The key insight is to train the model to produce a compressed image that induces the user to take the same action that they would have taken had they seen the original image. To approximate the loss function for this model, we train a discriminator that tries to distinguish whether a user's action was taken in response to the compressed image or the original. We evaluate our method through experiments with human participants on four tasks: reading handwritten digits, verifying photos of faces, browsing an online shopping catalogue, and playing a car racing video game. The results show that our method learns to match the user's actions with and without compression at lower bitrates than baseline methods, and adapts the compression model to the user's behavior: it preserves the digit number and randomizes handwriting style in the digit reading task, preserves hats and eyeglasses while randomizing faces in the photo verification task, preserves the perceived price of an item while randomizing its color and background in the online shopping task, and preserves upcoming bends in the road in the car racing game.

연구 동기 및 목표

• 표준 손실 압축 방식의 비효율성 문제를 해결하기 위해, 시각적 충실도가 아닌 작업별 유용성을 최적화하는 것.
• 사용자의 작업에서 결정을 이끄는 시각적 정보만 유지함으로써 이미지 전송 비트레이트를 줄이는 것.
• 사용자의 작업이나 행동 레이블에 대한 사전 지식 없이도 개인의 행동에 적응하는 압축 방법을 개발하는 것.
• 기능적 유사성—즉, 동일한 사용자 행동을 유도하는 것—이 인간이 참여하는 피드백과 적대적 훈련을 통해 학습될 수 있음을 검증하는 것.
• 실제 응용 분야인 숫자 인식, 사진 확인, 온라인 쇼핑, 비디오 게임 등 다양한 작업에서의 일반화 능력을 입증하는 것.

제안 방법

• 기존 입력에서 압축된 이미지를 생성하기 위해 신경망 기반 인코더-디코더 압축 모델을 훈련한다.
• 사용자가 참여하는 상호작용을 활용: 사용자가 압축된 이미지에서 작업(예: 클릭, 조종, 식별)을 수행하고, 그 행동을 기록한다.
• 사용자의 행동이 원본 이미지에서 유도되었는지 압축된 이미지에서 유도되었는지 식별하는 판별기를 훈련한다.
• 압축된 이미지에서의 행동이 원본 이미지에서의 행동과 구분되지 않도록 압축 모델을 최적화한다.
• 기본 행동 레이블이나 작업별 손실 함수가 필요 없도록, 적대적 손실을 사용해 기능적 유사성 목적함수를 암묵적으로 정의한다.
• 모델 훈련은 프로토타입 데이터를 사용하고, 평가에는 아마존 메커니컬 터크의 실제 인간 참가자를 활용하여 여러 작업에 걸쳐 적용한다.

실험 결과

연구 질문

• RQ1 비 perceptual 충실도 대신 기능적 유사성(동일한 사용자 행동을 유도함)을 최적화하는 이미지 압축이 가능한가?
• RQ2 명시적인 작업 레이블 없이 인간이 참여하는 피드백을 통해 압축 모델이 작업 관련 특징을 얼마나 잘 학습할 수 있는가?
• RQ3 다양한 작업에서 비적응형 및 인지적 유사성 기준 대비 실용적 압축을 통해 얼마나 많은 비트레이트 감소를 달성할 수 있는가?
• RQ4 PICO는 숫자, 안경, 도로 구불림 등 작업에 중요한 특징을 자동으로 유지하면서 필수적이지 않은 세부 사항(예: 필체, 배경, 먼 거리의 도로)을 제거하는가?
• RQ5 비디오 게임과 같은 실시간 결정 부담이 큰 작업에서 PICO는 낮은 비트레이트 조건에서도 사용자 성능과 상황 인식 능력을 유지할 수 있는가?

주요 결과

• PICO는 비적응형 및 인지적 유사성 기준 대비 원본 이미지와 압축된 이미지에서 동일한 사용자 행동을 유지하면서 비트레이트를 2–4배 감소시켰다.
• 숫자 인식 작업에서는 숫자 자체는 유지하면서 필체 스타일은 무작위화하여 작업에 특화된 특징 우선순위를 보였다.
• 사진 확인 작업에서는 모자와 안경을 유지하면서 얼굴 특징은 무작위화하여 가림을 탐지하는 작업에 부합했다.
• 온라인 쇼핑 작업에서는 가격 인식과 차량 형태를 유지하면서 색상과 배경을 제거하여 낮은 비트레이트에서도 가격 기반 선택을 정확히 수행할 수 있었다.
• 자동차 레이싱 게임에서는 조향 결정에 필수적인 도로의 굽이침과 기울기를 유지하여 비적응형 기준 대비 유의미하게 높은 도로 진전도를 기록했다(F(1,11) = 176.32, p < .0001).
• 사용자들은 PICO를 사용할 때 비적응형 압축 대비 더 높은 상황 인식 능력과 제어감을 보고했으며, 대역폭 제약 하에서도 사용성 향상이 있었음을 시사했다.