[論文レビュー] Improving Image Classification Robustness through Selective CNN-Filters Fine-Tuning

Alessandro Bianchi, Moreno Raimondo Vendra+2 more|arXiv (Cornell University)|Apr 8, 2019

Advanced Neural Network Applications参考文献 25被引用数 8

ひとこと要約

本稿では、クリーンな入力と歪んだ入力の活性マップ間の距離をBorda順位付けにより評価し、歪みに最も感受性が高い畳み込みフィルタのみを再訓練することで、画像歪みに対する深層畳み込みニューラルネットワークのロバストネスを向上させる選択的フィルタ微調整手法を提案する。この手法は、ラベル付きのノイズありデータが限られている状況でも、顕著に少ないパラメータで、フル微調整と同等の性能を達成する。

ABSTRACT

Image quality plays a big role in CNN-based image classification performance. Fine-tuning the network with distorted samples may be too costly for large networks. To solve this issue, we propose a transfer learning approach optimized to keep into account that in each layer of a CNN some filters are more susceptible to image distortion than others. Our method identifies the most susceptible filters and applies retraining only to the filters that show the highest activation maps distance between clean and distorted images. Filters are ranked using the Borda count election method and then only the most affected filters are fine-tuned. This significantly reduces the number of parameters to retrain. We evaluate this approach on the CIFAR-10 and CIFAR-100 datasets, testing it on two different models and two different types of distortion. Results show that the proposed transfer learning technique recovers most of the lost performance due to input data distortion, at a considerably faster pace with respect to existing methods, thanks to the reduced number of parameters to fine-tune. When few noisy samples are provided for training, our filter-level fine tuning performs particularly well, also outperforming state of the art layer-level transfer learning approaches.

研究の動機と目的

• 事前学習済みCNNが歪んだ画像でテストされた際の画像分類精度の低下を是正すること。これは、データセットシフトに起因する一般的な問題である。
• ぼかしや加法性白色ガウスノイズなどの画像歪みに対して感受性が高い、CNN内の畳み込みフィルタを同定すること。
• 歪みに最も感受性が高いフィルタのみを微調整する転移学習手法を開発し、パラメータ更新数とトレーニングコストを低減すること。
• クリーンなノイズあり画像ペアが利用できない状況でも、ロバストネス向上を可能とし、実世界の設定への適用可能性を拡張すること。

提案手法

• クリーン入力と歪んだ入力の活性マップ間の距離に基づき、Borda順位付け法を用いてフィルタの歪み感受性を順位付けする。
• 距離指標は、同じ層のクリーン画像と歪んだ画像からの特徴マップ間のL2ノルムを計算し、フィルタ感受性を定量化する。
• 各層の上位25%のフィルタ（活性マップ距離が最大のもの）のみを選択して微調整対象とし、トレーニング可能なパラメータ数を最小限に抑える。
• クリーン画像とノイズあり画像の対応関係を必要としないため、非対応設定にも適用可能である。
• 微調整は選択されたフィルタにのみ適用され、ネットワークの残りの部分は事前学習済み重みを保持する。
• All-Conv NetおよびResNet-18モデルを用いて、CIFAR-10およびCIFAR-100で、AWGNおよびぼかし歪みに対して評価する。

実験結果

リサーチクエスチョン

• RQ1 CNN内のどの畳み込みフィルタがぼかしや白色ガウスノイズなどの画像歪みに対して最も感受性を示すか？
• RQ2 クリーン画像とノイズあり画像のペアが存在しない状況でも、フィルタレベルの感受性を信頼性を持って評価できるか？
• RQ3 ラベル付きのノイズありデータが限られている状況で、最も歪み感受性の高いフィルタのみを微調整する手法が、フルレイヤー微調整を上回る性能を発揮できるか？
• RQ4 標準的な状態のSOTAレイヤー単位の転移学習手法と比較して、選択的フィルタ微調整は、精度とトレーニング効率の両面で優れているか？
• RQ5 標準的な微調整や補正モジュールと比較して、本手法が顕著に少ないトレーニング可能なパラメータ数でロバストネスを達成できるか？

主な発見

• 本手法は、画像歪みによって失われた性能の大部分を回復させ、フル微調整と同等の分類精度に近い結果を達成した。
• AWGN（σ=15）を適用したCIFAR-100において、ノイズありトレーニングデータが10%に制限された状況で、選択的微調整手法が標準的な微調整を上回った。
• フルレイヤー微調整と比較して、再訓練が必要なフィルタ数を最大75%まで削減し、トレーニングコストを顕著に低減した。
• 非対応バージョン（画像ピxlsまたは畳み込み特徴マップの畳み込みを用いた）は、対応ベースラインと比較して1層あたり13〜19個の一致フィルタを達成し、強い一貫性を示した。
• 十分なノイズありデータが利用可能な状況では、フル微調整と同等の性能を達成した一方で、収束が速かった。
• クリーンなノイズあり画像ペアが存在しない状況でも本手法はロバストであり、このようなペアが入手できない実世界のシナリオへの応用が可能である。