[論文レビュー] Do Better ImageNet Models Transfer Better... for Image Recommendation?

Felipe del-Rio, Pablo Messina+2 more|arXiv (Cornell University)|Jul 25, 2018

Multimodal Machine Learning Applications参考文献 16被引用数 6

ひとこと要約

本研究では、トップパフォーマンスを発揮するImageNetモデルが芸術的画像推薦に効果的に転移するかを調査する。UGalleryの実世界のアートワークデータセットを用いたResNetとファインチューニングの結果、ImageNetの精度は転移性能を予測しないことが判明した—ResNetはImageNetスコアが低くてもNASNetを上回った。ターゲットデータセットに対するディープファインチューニングは、固定特徴抽出や浅いチューニングよりも顕著に推薦性能を向上させた。

ABSTRACT

Visual embeddings from Convolutional Neural Networks (CNN) trained on the ImageNet dataset for the ILSVRC challenge have shown consistently good performance for transfer learning and are widely used in several tasks, including image recommendation. However, some important questions have not yet been answered in order to use these embeddings for a larger scope of recommendation domains: a) Do CNNs that perform better in ImageNet are also better for transfer learning in content-based image recommendation?, b) Does fine-tuning help to improve performance? and c) Which is the best way to perform the fine-tuning? In this paper we compare several CNN models pre-trained with ImageNet to evaluate their transfer learning performance to an artwork image recommendation task. Our results indicate that models with better performance in the ImageNet challenge do not always imply better transfer learning for recommendation tasks (e.g. NASNet vs. ResNet). Our results also show that fine-tuning can be helpful even with a small dataset, but not every fine-tuning works. Our results can inform other researchers and practitioners on how to train their CNNs for better transfer learning towards image recommendation systems.

研究の動機と目的

• SOTAのImageNetモデルが、芸術分野におけるコンテンツベースの画像推薦に一般化できるかどうかを評価すること。
• ファインチューニングが画像推薦タスクにおける転移学習性能を向上させるかどうかを調査すること。
• 異なるファインチューニング戦略（ディープ対シャロウ）とその推薦精度への影響を比較すること。
• ファインチューニング中にマルチタスク学習（例：アーティスト、メディア、時代の予測）を実施した場合の推薦性能向上の有効性を評価すること。

提案手法

• UGalleryの匿名化取引データを用いて、実世界のアートワーク推薦タスクにおいて5つの事前学習済みCNN（ResNet、VGG19、NASNet、InceptionResNetV2、DenseNet）を評価した。
• 各事前学習モデルの最終全結合層から視覚的埋め込みを抽出し、推薦用の固定特徴として使用した。
• ディープおよびシャロウファインチューニングを実施：ディープチューニングはすべての畳み込み層を更新した。シャロウチューニングは共有表現層のみを更新した。
• UGalleryデータセット（6,040点のアートワーク、4,099件の購入履歴）をファインチューニングおよび評価に使用し、比較のためにOmniart（100万点以上のアートワーク）をより大きな補助データセットとして用いた。
• 標準指標（例：top-k精度）を用いて性能を評価し、固定特徴抽出、シャロウファインチューニング、ディープファインチューニング、マルチタスク学習を比較した。
• ファインチューニング中に異なるメタデータ（アーティスト、メディア、時代）を補助学習ターゲットとして用いた場合の影響を評価するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: ImageNetで高い性能を発揮するCNNは、コンテンツベースの画像推薦における転移学習でも優れているのか？
• RQ2 RQ2: ファインチューニングは画像推薦タスクの性能向上に寄与するのか？
• RQ3 RQ3: ファインチューニングの最良の方法（例：ディープ対シャロウ、ターゲットデータセット）は何か？

主な発見

• モデルのImageNet ILSVRCチャレンジにおける性能と芸術的画像推薦における性能の間に強い相関は見られず、ImageNet上位のNASNetやInceptionResNetV2は、アート推薦タスクではResNet や VGG19に劣っていることが判明した。
• 固定特徴抽出に比べてファインチューニングが顕著に推薦性能を向上させた。また、すべての指標においてディープファインチューニングがシャロウファインチューニングを上回った。
• ターゲットデータセット（UGallery）でのファインチューニングは、より多様で大きなデータセット（Omniart）を用いた場合よりも顕著に優れた結果をもたらした。これは、Omniartに含まれるドメインシフトのデータ（例：彫刻、マスク）が推薦タスクに適さない可能性があるためである。
• アーティスト予測を伴うマルチタスク学習は、シングルタスク学習と比較して顕著な性能差を示さなかったが、クラス不均衡（60％が油絵）の影響でメディア予測の性能が低下した。
• 最も優れたモデルは、メタデータに依存する先行研究を上回る最先端の性能を達成した。
• 実際の推薦データセット（UGallery）を用いたファインチューニングが不可欠であった。より多くのデータを含む別のデータセット（Omniart）を用いた場合でさえ、性能が悪化した。