[論文レビュー] MemeSequencer: Sparse Matching for Embedding Image Macros

Abhimanyu Dubey, Esteban Moro+2 more|arXiv (Cornell University)|Feb 14, 2018

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 9

ひとこと要約

MemeSequencer は、深層学習とスパース表現を用いて、画像マクロの視覚的および言語的コンテンツを分離するスパースマッチングフレームワークを提案する。このフレームワークにより、豊かな意味的埋め込みが生成され、画像検索、クラスタリング、トピック予測、拡散予測において最先端の性能を達成する。これにより、意味的変異の系統樹を用いた、初めての大規模な画像マクロの進化分析が可能になった。

ABSTRACT

The analysis of the creation, mutation, and propagation of social media content on the Internet is an essential problem in computational social science, affecting areas ranging from marketing to political mobilization. A first step towards understanding the evolution of images online is the analysis of rapidly modifying and propagating memetic imagery or `memes'. However, a pitfall in proceeding with such an investigation is the current incapability to produce a robust semantic space for such imagery, capable of understanding differences in Image Macros. In this study, we provide a first step in the systematic study of image evolution on the Internet, by proposing an algorithm based on sparse representations and deep learning to decouple various types of content in such images and produce a rich semantic embedding. We demonstrate the benefits of our approach on a variety of tasks pertaining to memes and Image Macros, such as image clustering, image retrieval, topic prediction and virality prediction, surpassing the existing methods on each. In addition to its utility on quantitative tasks, our method opens up the possibility of obtaining the first large-scale understanding of the evolution and propagation of memetic imagery.

研究の動機と目的

• インターネット上での進化する画像マクロを分析するための堅牢な意味的空間の欠如に対処すること。
• 画像マクロの視覚的および言語的コンponentsを分離することで、マクロの進化の体系的分析を可能にすること。
• 意味的埋め込みを用いて、画像検索、クラスタリング、トピック予測、拡散予測のパフォーマンスを向上させること。
• 意味的類似性と系統樹再構築を用いて、マクロの拡散および変異パターンのスケールアップ分析を支援すること。

提案手法

• 本手法は、画像マクロからの視覚的特徴を抽出するために深層ニューラルネットワーク（例：ResNet18、VGGNet16、AlexNet）を用いる。
• 言語的コンテンツは、Word2VecPooling や SkipThought などの事前学習モデルを用いて意味的表現に符号化する。
• スパースマッチングを適用して、異なる画像マクロバージョン間の視覚的および言語的特徴を整列させ、強固なクロスモodal埋め込みを実現する。
• フレームワークは、テンプレートおよびコンテンツの変異に基づいて、画像マクロが共有される意味的空間を学習する。
• スパース表現戦略により、特に時系列的耐性タスクにおけるデータスパarsity下でも一般化性能が向上する。
• 系統樹は、埋め込み空間内のペアワイズ距離を用いて構築され、マクロの進化を可視化する。

実験結果

リサーチクエスチョン

• RQ1 視覚的および言語的変異を捉えつつ、画像マクロを表す統一された意味的埋め込み空間を構築できるか？
• RQ2 提案手法は、既存のアプローチと比較して、画像マクロの拡散性をどれほど正確に予測できるか？
• RQ3 本手法は、時間経過に伴う画像マクロの微細な意味的変異をどの程度捉えることができるか？
• RQ4 埋め込み空間は、意味的類似性に基づく画像マクロの意味的クラスタリングおよび検索を意味的に意味のある形でサポートできるか？
• RQ5 本手法は、系統樹を用いた画像マクロの進化的関係を再構築できるか、例えば系統樹の構築によって示されるか？

主な発見

• ResNet18 と SkipThought 特徴を用いたスパースマッチング手法は、時系列的耐性タスクで 65.12% の精度を達成し、ベースライン手法を顕著に上回った。
• 拡散予測タスクにおいて、微調整された ResNet18 やハイブリッドモデルを含む既存のアプローチを上回り、優れた一般化性能を示した。
• 画像検索、クラスタリング、トピック予測において、先行研究を上回る顕著な向上を達成し、最先端のパフォーマンスを実現した。
• 意味的埋め込み空間は、テキストおよび画像の重ね合わせに基づく系統的分岐を示す剪定済みの系統樹として可視化された進化パターンを的確に捉えた。
• 時系列評価において訓練データのわずか 7% でのみ、性能が著しく維持されたことから、データスパarsityに対して強い耐性を示した。
• 本フレームワークにより、テンプレートがテキスト的および視覚的変更を通じてどのように変異するかを示す、初めての大規模なマクロ進化再構築が可能になった。