[論文レビュー] Unsupervised Deep Feature Transfer for Low Resolution Image Classification

Yuanwei Wu, Ziming Zhang+1 more|arXiv (Cornell University)|Aug 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 5

ひとこと要約

本稿では、畳み込みフィルタの微調整を必要とせずに、高解像度画像から低解像度画像へ特徴を転送する非教師あり深層特徴転送手法を提案する。事前学習済みのResNet-101を用いて特徴を抽出し、k-meansクラスタリングによる疑似ラベルを介して2層の全結合ネットワークで特徴を転送することで、VOC2007でベースラインの低解像度特徴抽出法に比べてmAPが2%向上した。

ABSTRACT

In this paper, we propose a simple while effective unsupervised deep feature transfer algorithm for low resolution image classification. No fine-tuning on convenet filters is required in our method. We use pre-trained convenet to extract features for both high- and low-resolution images, and then feed them into a two-layer feature transfer network for knowledge transfer. A SVM classifier is learned directly using these transferred low resolution features. Our network can be embedded into the state-of-the-art deep neural networks as a plug-in feature enhancement module. It preserves data structures in feature space for high resolution images, and transfers the distinguishing features from a well-structured source domain (high resolution features space) to a not well-organized target domain (low resolution features space). Extensive experiments on VOC2007 test set show that the proposed method achieves significant improvements over the baseline of using feature extraction.

研究の動機と目的

• 高解像度データは学習時に利用可能だが、テスト時には低解像度画像のみが利用可能な実世界の応用において、低解像度画像分類性能を向上させること。
• 特徴の識別性が低下することで生じる低解像度画像分類性能の低下という課題に対処すること。
• バックボーンネットワークの微調整を必要としない、プラグイン型の特徴強化モジュールを構築すること。
• 疑似ラベル付きの高解像度特徴を活用して、低解像度特徴学習をガイドすることで、特徴空間におけるデータ構造とクラス分離性を維持すること。

提案手法

• 高解像度および低解像度画像の両方から2048次元の特徴を、事前学習済みのResNet-101ネットワークを用いて抽出する。
• 高解像度特徴をk-meansでクラスタリングし、疑似ラベルを生成。この疑似ラベルが特徴転送ネットワークの学習をガイドする。
• 2層の全結合ネットワーク（第1層：4096ニューロン、第2層：100ニューロン）を用いて、低解像度特徴をより識別性の高い100次元空間に特徴を転送する。
• 疑似ラベル付きの高解像度特徴を用いて、重み減衰、モーメンタム、コサインスケジュールを用いた確率的勾配降下法でネットワークを学習する。
• 最終分類のため、転送された低解像度特徴に直接線形SVM分類器を訓練する。
• 特徴転送ネットワークは、最先端の深層ニューラルネットワークと互換性を持つプラグインモジュールとして設計されている。

実験結果

リサーチクエスチョン

• RQ1 バックボーンネットワークの微調整なしに、高解像度画像から低解像度画像への非教師あり特徴転送が分類性能を向上させられるか？
• RQ2 高解像度特徴のk-meansクラスタリングによる疑似ラベル付けが、低解像度特徉学習をどれほど効果的にガイドできるか？
• RQ3 直接的な低解像度特徴抽出と比較して、提案手法が特徴空間におけるクラス分離性をどの程度維持できるか？
• RQ4 特徴転送ネットワークが、既存の深層学習パイプラインに効果的に統合可能か？

主な発見

• 提案手法は、VOC2007テストセットにおいて、ベースラインの低解像度特徴抽出法に比べて平均平均精度（mAP）が2%向上した。
• t-SNE可視化の結果、転送された低解像度特徴は、元の低解像度特徴と比較して著しく分離されていることが示され、クラス識別性が向上していることが裏付けられた。
• グリッドサーチによるmAP最適化の結果、2層の特徴転送ネットワークの最適なアーキテクチャは、第1層に4096ニューロン、第2層に100ニューロンを有するものであった。
• VOC2007の大多数のクラスにおいて、本手法は低解像度特徴を用いたベースラインを上回ったが、「bottle」と「sheep」を除く。
• 本手法は、高解像度特徴が持つ良好なデータ構造を、低解像度特徴空間に効果的に保持しており、分類のロバスト性が向上した。
• 特徴転送モジュールは、バックボーンの微調整を必要とせず、最先端の深層ネットワークにプラグイン型の特徴強化コンponentとして組み込むことができる。