[論文レビュー] Fidelity Estimation Improves Noisy-Image Classification With Pretrained Networks

Xiaoyu Lin, Deblina Bhattacharjee+2 more|arXiv (Cornell University)|Jun 1, 2021

Image Processing Techniques and Applications参考文献 36被引用数 7

ひとこと要約

本稿では、復元済み画像とクリーンな参照画像間のℓ1距離に基づいて推定される深層ネットワークを用いた学習済み忠実度マップを特徴抽出器の内部表現に統合することで、ノイズのある画像分類を向上させるFG-NICという手法を提案する。忠実度マップは、復元品質の画素単位の信頼度を表し、注意メカニズムを介してネットワークの注目を制御し、特に高ノイズレベルにおいて、再訓練が必要なモデルに近い性能を達成する。また、再訓練を必要とせず、既存の分類器を即座に利用可能なプラグアンドプレイ方式を実現する。

ABSTRACT

Image classification has significantly improved using deep learning. This is mainly due to convolutional neural networks (CNNs) that are capable of learning rich feature extractors from large datasets. However, most deep learning classification methods are trained on clean images and are not robust when handling noisy ones, even if a restoration preprocessing step is applied. While novel methods address this problem, they rely on modified feature extractors and thus necessitate retraining. We instead propose a method that can be applied on a $pretrained$ classifier. Our method exploits a fidelity map estimate that is fused into the internal representations of the feature extractor, thereby guiding the attention of the network and making it more robust to noisy data. We improve the noisy-image classification (NIC) results by significantly large margins, especially at high noise levels, and come close to the fully retrained approaches. Furthermore, as proof of concept, we show that when using our oracle fidelity map we even outperform the fully retrained methods, whether trained on noisy or restored images.

研究の動機と目的

• 事前学習済みモデルの再訓練を必要とせずに、ノイズのある入力における画像分類性能を向上させること。
• 深層学習分類器がノイズや劣化した画像に適用された際のロバストネスのギャップを解消すること。
• ノイズのある画像処理シナリオにおいて、既存の事前学習済み分類器をモジュール式に展開可能にすること。
• 画像復元品質に基づいてネットワークの注目を誘導する忠実度マップを開発すること。
• 忠実度誘導による特徴調整が、完全に再訓練されたモデルと同等またはそれを上回ることを示すこと。

提案手法

• 復元画像とそのクリーンな参照画像間のℓ1距離を用いて、データ忠実度マップを推定し、復元品質の画素単位の信頼度を表す。
• 深層ニューラルネットワークを訓練して、ノイズのある入力を入力として忠実度マップを予測し、エンドツーエンド学習または外部推定を可能にする。
• 忠実度マップを、複数の層で学習可能な乗法的および加法的注目メカニズムを介して特徴抽出器に空間的に統合する。
• 要素ごとの乗算と加算を用いて特徴マップと統合し、ノイズのある領域における信頼性の低い特徴を抑制する。
• 重みが固定された事前学習済み分類器に適用可能であり、再訓練を必要とせず、即座に利用可能なプラグアンドプレイ方式を実現する。
• アブレーションスタディでは、オラクル忠実度マップ（真値）を用いて理論的上限を示す。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わずに、事前学習済み画像分類器をノイズのある入力に対してロバストにできるか？
• RQ2 学習済み忠実度マップが特徴抽出器内の注目を誘導することで、ノイズのある画像の分類性能を向上させられるか？
• RQ3 忠実度誘導による特徴統合は、ノイズのある画像分類において完全に再訓練されたモデルと比較してどうなるか？
• RQ4 忠実度マップは高ノイズレベルにおいて、性能向上をより顕著に実現するか？
• RQ5 事前学習済み分類器を用いたプラグアンドプレイ方式は、アーキテクチャの再設計や再訓練を要する手法を上回る性能を達成できるか？

主な発見

• FG-NICは、特に高ノイズレベル（σ = 0.5）において、ノイズのある画像の分類精度を大幅に向上させ、ResNet-50を用いたCaltech-101では75.39%の精度を達成した。
• 本手法は、復元画像を入力として使用したベースライン事前学習モデル（σ = 0.1のとき80.17% 対 77.99%）を上回り、完全に再訓練されたモデルと同等の性能を示した。
• オラクル忠実度マップを用いることで、FG-NICはCaltech-101でσ = 0.5のとき89.02%の精度を達成し、すべての完全再訓練モデルを上回った。
• アブレーションスタディにより、空間的乗算および加法的メカニズムが重要であることが確認され、高ノイズ環境下で精度が最大3.5%低下した。
• 本手法は計算効率が高く、追加のトレーニング可能なパラメータが10.49M、MACが0.08億であり、実装に適している。
• 高ノイズレベルにおいて、ℓ2距離やコサイン距離に比べ、ℓ1距離を用いた忠実度推定が、外れ値に対してよりロバストであるため、性能が優れている。