[論文レビュー] Transferable Recognition-Aware Image Processing

Zhuang Liu, Tinghui Zhou+5 more|arXiv (Cornell University)|May 4, 2021

Advanced Neural Network Applications参考文献 36被引用数 9

ひとこと要約

本稿では、画像処理中に認識誤差を直接最小化することで機械の解釈可能性を最適化する認識に配慮した画像処理手法を提案する。この手法により、さまざまなモデル、アーキテクチャ、データセットにわたる強力な一般化性を示しながら、下流のビジョンタスクで顕著な精度向上が達成される。一方で、知覚的品質は維持される。

ABSTRACT

Recent progress in image recognition has stimulated the deployment of vision systems at an unprecedented scale. As a result, visual data are now often consumed not only by humans but also by machines. Existing image processing methods only optimize for better human perception, yet the resulting images may not be accurately recognized by machines. This can be undesirable, e.g., the images can be improperly handled by search engines or recommendation systems. In this work, we propose simple approaches to improve machine interpretability of processed images: optimizing the recognition loss directly on the image processing network or through an intermediate transforming model. Interestingly, the processing model's ability to enhance recognition quality can transfer when evaluated on models of different architectures, recognized categories, tasks and training datasets. This makes the solutions applicable even when we do not have the knowledge of future recognition models, e.g., if we upload processed images to the Internet. We conduct experiments on multiple image processing tasks, with ImageNet classification and PASCAL VOC detection as recognition tasks. With our simple methods, substantial accuracy gain can be achieved with strong transferability and minimal image quality loss. Through a user study we further show that the accuracy gain can transfer to a black-box, third-party cloud model. Finally, we try to explain this transferability phenomenon by demonstrating the similarities of different models' decision boundaries. Code is available at https://github.com/anonymous20202020/Transferable_RA .

研究の動機と目的

• 人間の知覚のみを最適化する既存の画像処理手法におけるギャップを埋める。
• 事前に分かっていないモデル、たとえば第三者のクラウドシステムのようなモデルの画像解釈性を向上させる。
• 未確認のモデル、タスク、データセットにおける認識性能の向上を可能にする画像処理パイプラインを実現する。
• 顕著な機械認識精度の向上を達成しながら、高い知覚的画像品質を維持する。
• 多様なビジョンモデルにわたる認識改善の一般化性を調査・説明する。

提案手法

• 画像品質と機械認識の両方を同時に最適化するように、認識誤差ヘッドを備えたエンドツーエンドで画像処理ネットワークを訓練する。
• 2段階アプローチを採用する：まず認識に配慮した変換モデルを訓練し、その後、任意の認識モデルに供給する前に画像に適用する。
• 認識損失（例：交差エントロピー）を、アーキテクチャを自由に切り替え可能な認識ヘッドを用いて、処理済み画像上で最小化する。
• 処理ネットワークの中間表現を活用し、異なるアーキテクチャを持つモデルへの認識改善の転送を実現する。
• ブラックボックスモデルとの互換性を確保するため、デプロイ前に同じ処理パイプラインを画像に適用する。
• 意思決定境界解析を用いて、認識改善がなぜさまざまなモデルに一般化するのかを説明する。

実験結果

リサーチクエスチョン

• RQ1 認識アーキテクチャを事前に知らない下流モデルにおいて、認識精度を向上させる画像処理ネットワークを訓練可能か？
• RQ2 処理済み画像からの認識改善は、異なる認識モデル、タスク、データセットにどの程度一般化されるか？
• RQ3 提案手法は、機械認識性能を顕著に向上させる一方で、どのようにして知覚的画像品質を維持するのか？
• RQ4 認識の向上は、ブラックボックス型の第三者クラウドベースの認識モデルにも転送可能か？
• RQ5 認識改善の一般化が観察される背後にある、意思決定境界の構造的類似性は何か？

主な発見

• 提案手法は、ImageNet分類およびPASCAL VOC検出タスクにおいて顕著な精度向上を達成し、画像品質の低下は最小限に抑えられる。
• 認識改善は、ResNet、DenseNet、EfficientNetなど異なるアーキテクチャのモデルへも効果的に転送される。
• 異なる認識タスクおよび学習データセットに対しても一般化可能であり、広範な適用性を示している。
• ユーザースタディの結果、精度向上がブラックボックス型の第三者クラウドベース認識モデルへも転送されることが確認された。
• 解析の結果、認識に配慮した処理により、異なるモデル間で意思決定境界がより整合的になることが示された。これは、一般化性の裏付けである。
• 本手法は、標準的な画像処理手法と同等の知覚的品質を維持しながら、顕著に機械の解釈可能性を向上させている。