[論文レビュー] Collaborative Feature Learning from Social Media

Fang Chen, Hailin Jin+2 more|arXiv (Cornell University)|Feb 5, 2015

Advanced Image and Video Retrieval Techniques参考文献 14被引用数 5

ひとこと要約

本論文は、分類ラベルを必要とせずに、ソーシャルメディア利用者の行動データから共同特徴学習を提案する。Behance.net における 190 万件のユーザーの閲覧記録を活用し、潜在的な画像関係性を介して画像特徴を学習することで、画像類似度タスクにおいて優れた性能を達成し、画像認識ベンチマークでも競争力のある結果を示した。特にスタイル類似度タスクでは ImageNet 特徴を上回った。

ABSTRACT

Image feature representation plays an essential role in image recognition and related tasks. The current state-of-the-art feature learning paradigm is supervised learning from labeled data. However, this paradigm requires large-scale category labels, which limits its applicability to domains where labels are hard to obtain. In this paper, we propose a new data-driven feature learning paradigm which does not rely on category labels. Instead, we learn from user behavior data collected on social media. Concretely, we use the image relationship discovered in the latent space from the user behavior data to guide the image feature learning. We collect a large-scale image and user behavior dataset from Behance.net. The dataset consists of 1.9 million images and over 300 million view records from 1.9 million users. We validate our feature learning paradigm on this dataset and find that the learned feature significantly outperforms the state-of-the-art image features in learning better image similarities. We also show that the learned feature performs competitively on various recognition benchmarks.

研究の動機と目的

• 高コストな分類ラベルに依存しないデータ駆動型特徴学習パラダイムの開発を目的とする。
• ソーシャルメディアプラットフォームからの利用者行動データを活用し、意味のある画像表現を学習することを目的とする。
• 現実的で大規模なソーシャルメディアデータを用いた特徴学習の有効性を検証することを目的とする。
• 利用者相互作用パターンが高品質な視覚的および意味的特徴を生み出せることを示すこと。
• 視覚的および意味的関係を反映する非ラベル付き行動ベースのデータを、ビジョンタスクにおける特徴学習に活用する可能性を検討すること。

提案手法

• Behance.net から 190 万枚の画像と 3 億 3000 万件以上のユーザー閲覧記録を含む大規模データセットを収集する。
• ユーザーの閲覧行動を活用し、共有埋め込み空間内での潜在的画像関係性と類似度を推定する。
• 複数ユーザーにわたるユーザーの好みと画像の共起パターンをモデル化するために、共同フィルタリング手法を適用する。
• 画像の視覚的および意味的コンテンツを捉えることができる、生画像から潜在表現への特徴変換を学習する。
• 分類ラベルを一切用いずに、推定された画像関係性を教師信号として、深層ニューラルネットワークを訓練する。
• 画像類似度に最適化された潜在空間を得るために、コントラスト損失または類似の目的関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 ソーシャルメディア上の利用者行動データは、分類ラベルなしで高品質な画像特徴を学習するために効果的に活用可能か？
• RQ2 ソーシャルメディア行動から学習された特徴は、画像類似度および認識タスクにどれほど一般化可能か？
• RQ3 共同特徴学習は、ImageNet の教師あり事前学習特徴を上回るのか、特にスタイルベースの画像検索タスクにおいて？
• RQ4 利用者行動データのノイズやスパarsity に対して、この手法はどれほど頑健か？
• RQ5 ソーシャルメディア相互作用パターンは、画像間の視覚的および意味的関係をどれほど正確に反映できるか？

主な発見

• 提案手法は、図 1 に示すように、コンテンツおよびスタイルの一貫性の観点で ImageNet 特徴を上回る画像類似度の学習を達成した。
• Behance データセットにおいて、クエリと上位 100 個の近傍画像の間で共通の閲覧者比率が、ImageNet ベースラインよりも一貫して高い値を示した。
• AVA スタイルベンチマークでは 56.0% の精度を達成し、ImageNet 特徴（51.3%）と Meta-Class（53.9%）を上回った。
• Wikipaintings データセットでは 41.4% の精度を達成し、ImageNet 特徴（40.7%）をわずかに上回り、Meta-Class（38.6%）を著しく上回った。
• Caltech256 では 57.6% の精度を達成し、分類ラベルなしで学習されたにもかかわらず、競争力のある性能を示した。
• 数百万のユーザーにわたる集団的利用者行動パターンを活用することで、本手法はデータのスパarsity およびノイズに対して頑健であることが示された。