[論文レビュー] Transfer Learning for Illustration Classification

Manuel Lagunas, Elena Garcés|arXiv (Cornell University)|Jan 1, 2017

Advanced Image and Video Retrieval Techniques参考文献 1被引用数 10

ひとこと要約

本稿では、新規に収集されたイラスト画像のデータセット上で事前学習されたVGG19ネットワークを微調整することにより、イラスト分類の性能を向上させるトランスファーラーニング手法を提案する。アートスタイルに適応するため下位の畳み込み層のみを再学習することで、高レベルの特徴を保持しつつ、芸術的スタイルに適応した特徴を学習する。この手法により、イラスト分類で86.61%のトップ1精度を達成し、自然画像の分類性能を維持したまま、新ドメインにおけるベースラインVGG19より60%以上高いトップ1精度を達成した。

ABSTRACT

The field of image classification has shown an outstanding success thanks to the development of deep learning techniques. Despite the great performance obtained, most of the work has focused on natural images ignoring other domains like artistic depictions. In this paper, we use transfer learning techniques to propose a new classification network with better performance in illustration images. Starting from the deep convolutional network VGG19, pre-trained with natural images, we propose two novel models which learn object representations in the new domain. Our optimized network will learn new low-level features of the images (colours, edges, textures) while keeping the knowledge of the objects and shapes that it already learned from the ImageNet dataset. Thus, requiring much less data for the training. We propose a novel dataset of illustration images labelled by content where our optimized architecture achieves $ extbf{86.61\%}$ of top-1 and $ extbf{97.21\%}$ of top-5 precision. We additionally demonstrate that our model is still able to recognize objects in photographs.

研究の動機と目的

• VGG19のような事前学習済みディープネットワークが、イラストやコマicsのような非自然画像ドメインで性能が低い問題に対処すること。
• 学習から再開する必要なく、アート表現に適応したディープ特徴を学習するトランスファーラーニング戦略の開発。
• ベンチマーク用にコンテンツ別にラベル付けされた新規で収集されたイラスト画像データセットの作成。
• 適応後のモデルが自然画像の分類に一般化能力を保持しているかの評価。
• 低レベル特徴の適応が、視覚的抽象化のレベルに応じた分類性能に与える影響の調査。

提案手法

• 収集済みのイラスト画像データセット上で、事前学習済みVGG19ネットワークの下位畳み込み層のみを微調整し、アートスタイルに適応する低レベル特徴（エッジ、テクスチャ、色）を学習する。
• 2段階アプローチを採用：まず最適化されたネットワークからの特徴を用いてサポートベクターマシン（SVM）を学習し、次にスムージング分類器を用いてネットワーク全体を再学習することで性能を向上。
• 層ごとの適応的最適化を適用し、ImageNetで学習した高レベルのオブジェクトや形状表現を保持しつつ、新しいドメインの統計に適応する。
• 2番目の全結合層から画像記述子を抽出し、t-SNE可視化を用いて特徴のクラス内凝集を確認。
• SVMハイパーパrameter（シグモイドカーネル、C=10、γ=0.0001）の最適化のため、3分割交差検証を実施。
• 最終モデルの性能を、収集済みのイラストと少量の自然画像の両方で評価し、移譲性とロバストネスを検証。

実験結果

リサーチクエスチョン

• RQ1 トランスファーラーニングは、高い抽象化レベルを持つイラスト画像を分類するのに効果的に機能するか？
• RQ2 下位層のみを微調整する方法は、全層微調整や特徴ベースのトランスファーと比較して、アート表現の分類性能にどのように影響するか？
• RQ3 ドメイン適応後、適応モデルが自然画像の分類能力をどの程度保持しているか？
• RQ4 低レベル特徴の適応が、ネットワークのさまざまな視覚的スタイル間での一般化能力に与える影響は？
• RQ5 収集済みのイラストデータセットを用いることで、ノイズの多いデータを用いる場合と比較して分類精度が向上するか？

主な発見

• 最適化されたVGG19 + SVMモデルは、収集済みのイラストデータセットでトップ1精度86.61%、トップ5精度97.21%を達成し、ベースラインVGG19 + SVMと比較して24.1%の向上を示した。
• モデルは、イラストデータセットにおいて、元のVGG19よりトップ1精度が60ポイント以上向上し、層別微調整の有効性を実証した。
• アーキテクチャの変更にもかかわらず、写真を用いた定性的な結果から、自然画像の分類性能を強く維持していることが示された。
• t-SNE可視化により、最適化されたネットワークが判別力があり、クラスごとに分離された画像記述子を学習していることが確認され、SVMによる効果的な分類が可能であることが裏付けられた。
• 失敗事例は主に視覚的特徴が弱いか、他のクラスに類似した曖昧な特徴に起因しており、高レベルの抽象化下での一般化の限界を示している。
• 結果から、低レベル特徴の適応後も高レベルオブジェクト表現が移譲可能であることが示され、ネットワークのドメイン間でのロバストネスを支持する。