[論文レビュー] Zero-Shot Fine-Grained Classification by Deep Feature Learning with Semantics

Aoxue Li, Zhiwu Lu+4 more|arXiv (Cornell University)|Jul 4, 2017

Domain Adaptation and Few-Shot Learning参考文献 21被引用数 4

ひとこと要約

本論文は、階層的意味構造とドメイン適応を活用して判別性の高い深層特徴を学習し、その後に意味的有向グラフ上でラベル伝搬を実行する二段階フレームワークを提案する。この手法は、CUB-200-2011およびFlowers-102で最先端の性能を達成しており、特に弱教師あり設定において顕著な優位性を示している。

ABSTRACT

Fine-grained image classification, which aims to distinguish images with subtle distinctions, is a challenging task due to two main issues: lack of sufficient training data for every class and difficulty in learning discriminative features for representation. In this paper, to address the two issues, we propose a two-phase framework for recognizing images from unseen fine-grained classes, i.e. zero-shot fine-grained classification. In the first feature learning phase, we finetune deep convolutional neural networks using hierarchical semantic structure among fine-grained classes to extract discriminative deep visual features. Meanwhile, a domain adaptation structure is induced into deep convolutional neural networks to avoid domain shift from training data to test data. In the second label inference phase, a semantic directed graph is constructed over attributes of fine-grained classes. Based on this graph, we develop a label propagation algorithm to infer the labels of images in the unseen classes. Experimental results on two benchmark datasets demonstrate that our model outperforms the state-of-the-art zero-shot learning models. In addition, the features obtained by our feature learning model also yield significant gains when they are used by other zero-shot learning models, which shows the flexility of our model in zero-shot fine-grained classification.

研究の動機と目的

• クラスごとの訓練データが不足する状況における細分類の課題に対処すること。
• 細分類クラス間の階層的意味構造を組み込むことで、ゼロショット学習における特徴の判別性を向上させること。
• 訓練データとテストデータ間のドメインシフトをドメイン適応によって軽減すること。
• 学習済みの深層特徴と意味的属性のみを用いて、未学習の細分類クラスを正確に分類できること。
• 複数のゼロショット学習モデルにわたる性能向上を実現する柔軟な特徴学習アプローチを開発すること。

提案手法

• Wikipediaなどから得られる分類的関係に基づく階層的意味構造を用いて、VGG-16Netを微調整し、特徴学習を誘導する。
• 訓練データとゼロショットテストデータ間のドメインシフトを低減するため、深層ネットワークにドメイン適応サブネットワークを統合する。
• 細分類カテゴリ間の関係をモデル化するため、クラス属性上に意味的有向グラフを構築する。
• 第一段階で得られた深層特徴を用いて、意味的有向グラフ上でラベル伝搬アルゴリズムを適用し、未学習クラスのラベルを推定する。
• ネットワークの最終層（conv5, fc6, fc7）から得られるマルチレベル特徴を統合し、表現力を向上させる。
• 高価な部位アノテーションやボックス情報ではなく、画像レベルのラベルとテキスト的属性のみを用いる。

実験結果

リサーチクエスチョン

• RQ1 細分類クラス間の階層的意味構造は、ゼロショット細分類における特徴学習を改善できるか？
• RQ2 ドメイン適応は、ゼロショット細分類認識におけるドメインシフトをどれほど効果的に低減できるか？
• RQ3 クラス属性上に構築した意味的有向グラフは、未学習の細分類クラスのラベル推定を向上させられるか？
• RQ4 提案された特徴学習手法は、複数のゼロショット学習モデルに一般化可能か？
• RQ5 画像レベルのラベルとテキスト的属性のみを用いた弱教師あり設定下での本手法の性能はいかがなものか？

主な発見

• 提案手法はCUB-200-2011で56.5%の正確度を達成し、同じ設定で前回の最先端手法（54.2%）を大きく上回った。
• Flowers-102では、弱教師あり設定で49.5%の正確度を達成し、部位レベルの監視を用いた先行手法を上回った。
• 特徴学習部のみを用いても、複数のベースラインゼロショット学習モデルで性能向上が見られ、その汎用性を示した。
• アブレーションスタディにより、階層的分類サブネットワークとドメイン適応構造の両方が最適性能を達成するために不可欠であることが確認された。
• 意味的有向グラフ上でラベル伝搬を適用することで、特に判別性の高い特徴と組み合わせた場合にゼロショット一般化性能が顕著に向上した。
• 部位レベルのアノテーションがなくても強力な結果を達成できることから、リソースが限られた環境における効率性と実用性が顕著に示された。