[論文レビュー] Pragmatic Image Compression for Human-in-the-Loop Decision-Making

Siddharth Reddy, Anca D. Dragan+1 more|arXiv (Cornell University)|Jul 7, 2021

Simulation Techniques and Applications被引用数 4

ひとこと要約

本稿では、ユーザーが特定のタスクを遂行できるように必要な視覚的特徴のみを保持することで、より低いビットレートに画像を圧縮する人間を含むループ学習アプローチ、Pragmatic Image Compression (PICO) を提案する。オリジナル画像と圧縮画像に対するユーザーの行動が同一になるように、敵対的ディスクラミネーターを用いてオリジナル画像と圧縮画像の応答を区別するように訓練された圧縮モデルを学習することで、PICOは多様なタスクにおいて2–4倍のビットレート削減を達成し、機能的類似性を維持する。

ABSTRACT

Standard lossy image compression algorithms aim to preserve an image's appearance, while minimizing the number of bits needed to transmit it. However, the amount of information actually needed by a user for downstream tasks -- e.g., deciding which product to click on in a shopping website -- is likely much lower. To achieve this lower bitrate, we would ideally only transmit the visual features that drive user behavior, while discarding details irrelevant to the user's decisions. We approach this problem by training a compression model through human-in-the-loop learning as the user performs tasks with the compressed images. The key insight is to train the model to produce a compressed image that induces the user to take the same action that they would have taken had they seen the original image. To approximate the loss function for this model, we train a discriminator that tries to distinguish whether a user's action was taken in response to the compressed image or the original. We evaluate our method through experiments with human participants on four tasks: reading handwritten digits, verifying photos of faces, browsing an online shopping catalogue, and playing a car racing video game. The results show that our method learns to match the user's actions with and without compression at lower bitrates than baseline methods, and adapts the compression model to the user's behavior: it preserves the digit number and randomizes handwriting style in the digit reading task, preserves hats and eyeglasses while randomizing faces in the photo verification task, preserves the perceived price of an item while randomizing its color and background in the online shopping task, and preserves upcoming bends in the road in the car racing game.

研究の動機と目的

• 標準的なロスレス圧縮の非効率性に対処する。これは、知覚的忠実度を最適化するのではなく、タスク固有の有用性を最適化する。
• ユーザーの意思決定を駆動する視覚的情報のみを保持することで、画像送信のビットレートを低減する。
• 事前にタスクや行動ラベルの知識がなくても、個々のユーザー行動に適応する圧縮手法を開発する。
• 人間を含むループフィードバックと敵対的訓練を通じて、機能的類似性（同一のユーザー行動を誘発すること）を学習できることを検証する。
• 実世界の多様なタスク、例えば数字認識、写真確認、オンラインショッピング、およびビデオゲームなどに、本手法が一般化できることを示す。

提案手法

• オリジナル入力から圧縮画像を生成するニューラルネットワークベースのエンコーダ-デコーダ圧縮モデルを訓練する。
• 人間を含むループのインタラクションを活用：ユーザーは圧縮画像上でタスク（例：クリック、操舵、識別）を実行し、その行動がログに記録される。
• ユーザーの行動がオリジナル画像か圧縮画像かを分類するディスクラミネーターを訓練する。
• 圧縮モデルを最適化し、ディスクラミネーターの誤認を最大化する（すなわち、オリジナル画像と圧縮画像に対する行動が区別不能になるようにする）。
• 敵対的損失を用いて機能的類似性の目的関数を暗黙的に定義し、真値の行動ラベルやタスク固有の損失関数の必要性を回避する。
• 実際の人間参加者を用いて複数のタスクに本手法を適用し、Amazon Mechanical Turkで実施。モデルの訓練にはパイLOTデータを、評価には新しいユーザーを用いる。

実験結果

リサーチクエスチョン

• RQ1 知覚的忠実度ではなく、機能的類似性（同一のユーザー行動を誘発すること）を最適化した画像圧縮は可能か？
• RQ2 明示的なタスクラベルがなくても、人間を含むループフィードバックを通じて、圧縮モデルはタスクに必要な特徴をどれだけ学習できるか？
• RQ3 多様なタスクにおいて、非適応的および知覚的類似性ベースラインと比較して、実用的圧縮によりどの程度のビットレート削減が達成できるか？
• RQ4 PICOは、タスクに重要な特徴（例：数字、眼鏡、道路のカーブ）を適応的に保持しながら、関係のない詳細（例：手書き文字、背景、遠くの道路）を除外するか？
• RQ5 ビデオゲームのようなリアルタイム意思決定タスクにおいて、PICOは低ビットレート制約下でもユーザーのパフォーマンスと状況認識を維持できるか？

主な発見

• PICOは、非適応的および知覚的類似性ベースラインと比較して、ユーザーが圧縮画像とオリジナル画像で同一の行動を取ることを確認しながら、2–4倍の低いビットレートを達成した。
• 数字認識タスクでは、PICOは数字そのものを保持したが、手書きスタイルをランダム化した。これは、タスク固有の特徴の優先順位付けを示している。
• 写真確認タスクでは、PICOは帽子と眼鏡を保持したが、顔の特徴をランダム化した。これは、被覆の検出というタスクに整合的である。
• オンラインショッピングタスクでは、PICOは価格の印象と車の形状を保持したが、色と背景を除外した。これにより、低ビットレートでも正確な価格ベースの選択が可能になった。
• 自動車レースゲームでは、PICOは操舵意思決定に不可欠な道路のカーブと角度を保持した。その結果、非適応的ベースラインと比較して、はるかに高い道路進捗（F(1,11) = 176.32, p < .0001）が得られた。
• ユーザーはPICOの方が非適応的圧縮と比較して、状況認識とコントロール感が高まっていると報告した。これは帯域制限下でも使いやすさが向上していることを示している。