[論文レビュー] Neural Style Representations and the Large-Scale Classification of Artistic Style

Jeremiah Johnson|arXiv (Cornell University)|Nov 16, 2016

Aesthetic Perception and Analysis参考文献 15被引用数 3

ひとこと要約

この論文は、事前に訓練されたVGG-19ネットワークからのGram行列を用いたニューラルスタイル表現を、70種類のスタイルカテゴリに分類する76,449枚の絵画に対する大規模アートスタイル分類に用いることを調査している。微調整された残差ネットワークが36.99%のトップ1%精度を達成した一方で、最良のニューラルスタイル表現（ReLU3_1特徴を用いたランダムフォレスト）は33.46%の精度を示し、深層ネットワークからのスタイル特徴が、効果的ではあるが二次的である分類器として機能できることを示している。

ABSTRACT

The artistic style of a painting is a subtle aesthetic judgment used by art historians for grouping and classifying artwork. The recently introduced `neural-style' algorithm substantially succeeds in merging the perceived artistic style of one image or set of images with the perceived content of another. In light of this and other recent developments in image analysis via convolutional neural networks, we investigate the effectiveness of a `neural-style' representation for classifying the artistic style of paintings.

研究の動機と目的

• 深層畳み込みニューラルネットワークから得られるニューラルスタイル表現が、大規模かつ細分化されたデータセットにおいて、アートスタイルを効果的に分類できるかどうかを評価すること。
• アートスタイル分類の文脈において、ニューラルスタイル表現の性能を従来のディープラーニングモデルと比較すること。
• 特徴次元数や前処理（例：PCA、正規化）が、スタイル表現の予測性能に与える影響を調査すること。
• 事前に訓練されたネットワークのどの層が、分類タスクに最も適したスタイル情報をエンコードしているかを特定すること。
• 先行研究とは異なり、均一性がやや低い高解像度データセットにおいて、スタイル表現の頑健性を評価すること。

提案手法

• 各絵画について、VGG-19のReLU1_1、ReLU2_1、ReLU3_1、ReLU4_1、ReLU5_1層の特徴活性化のGram行列を抽出した。
• 対称的なGram行列を、それぞれ2016、8128、32640、130816、130816次元の1次元特徴ベクトルに変形した。
• Adam最適化を用いて、全連結されたスタイル表現の上に1層の線形分類器を訓練した。
• 各個別のGram行列表現に対して、個別にランダムフォレスト分類器を構築し、層ごとの性能を評価した。
• 分散の90%を保持するように次元削減のためのPCAを適用し、分類精度に与える影響を評価した。
• 入力特徴を正規化し、次元削減と併用した場合のモデル性能への影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 特徴活性化のGram行列として定義されるニューラルスタイル表現は、大規模かつ細分化されたデータセットにおいて、アートスタイル分類の有効な分類器として機能できるか？
• RQ2 同じ分類タスクにおいて、ニューラルスタイル表現の性能は、微調整された残差ニューラルネットワークと比べてどうなるか？
• RQ3 事前に訓練されたVGG-19ネットワークのどの特定の層が、アートスタイル分類に最も判別力のあるスタイル表現を生成するか？
• RQ4 次元削減（例：PCA）は、ニューラルスタイル表現の予測精度にどのような影響を与えるか？
• RQ5 特徴の正規化は、ニューラルスタイル表現に基づくモデルの性能を向上させるか？

主な発見

• 最良のニューラルスタイル表現は、ランダムフォレスト分類器を用いたReLU3_1層から得られ、トップ1%精度が33.46%に達した。
• ReLU2_1およびReLU1_1層は、それぞれ28.97%および27.84%のトップ1%精度を示し、全特徴線形分類器（13.21%精度）を上回った。
• ニューラルスタイル表現の性能は、より深い層（ReLU4_1およびReLU5_1）で著しく低下し、それぞれ9.79%および10.18%の精度にまで低下した。
• ReLU1_1表現にPCAを適用して分散の90%を保持した場合、ランダムフォレストの精度は27.84%から17%に低下した。これは、高次元構造が性能に不可欠であることを示している。
• 入力特徴の正規化は、モデル精度に顕著な改善をもたらさず、生のGram行列特徴がすでに分類に適したスケーリングがされていることを示唆している。
• 微調整された残差ネットワーク（36.99%のトップ1%精度）よりは低いが、ニューラルスタイル表現は意味のある予測性能を示しており、関連するスタイル情報がエンコードされていることが示された。