[論文レビュー] Netizen-Style Commenting on Fashion Photos: Dataset and Diversity Measures

Wen Hua Lin, Kuan‐Ting Chen+2 more|arXiv (Cornell University)|Jan 31, 2018

Multimodal Machine Learning Applications参考文献 29被引用数 5

ひとこと要約

本論文は、ファッションフォトキャプションの質を向上させるため、潜在的トピックモデル（LDA）とニューラル画像キャプションを統合するNetizen-Style Commenting（NSC）フレームワークを提案する。NSCは、多様で生き生きとした、文化的に適切な「ネチス風」のコメントを生成する。新規の大規模データセットNetiLook（30万枚のファッションフォトと500万件のコメント）を用いて、NSCはキャプションの正確性と多様性の両面で顕著な向上を達成し、人間評価において36.8％の票がNSCを最良のコメントと評価した。

ABSTRACT

Recently, deep neural network models have achieved promising results in image captioning task. Yet, "vanilla" sentences, only describing shallow appearances (e.g., types, colors), generated by current works are not satisfied netizen style resulting in lacking engagements, contexts, and user intentions. To tackle this problem, we propose Netizen Style Commenting (NSC), to automatically generate characteristic comments to a user-contributed fashion photo. We are devoted to modulating the comments in a vivid "netizen" style which reflects the culture in a designated social community and hopes to facilitate more engagement with users. In this work, we design a novel framework that consists of three major components: (1) We construct a large-scale clothing dataset named NetiLook, which contains 300K posts (photos) with 5M comments to discover netizen-style comments. (2) We propose three unique measures to estimate the diversity of comments. (3) We bring diversity by marrying topic models with neural networks to make up the insufficiency of conventional image captioning works. Experimenting over Flickr30k and our NetiLook datasets, we demonstrate our proposed approaches benefit fashion photo commenting and improve image captioning tasks both in accuracy and diversity.

研究の動機と目的

• 現在の画像キャプションモデルが、特にファッションフォトにおいて多様性に欠け、人間らしい関与が乏しいという問題に対処すること。
• オンラインファッションコミュニティに見られる活発的でコミュニティ特有の「ネチス」風スタイルを反映するコメントを生成するフレームワークを開発すること。
• 文化的に繊細な画像キャプション研究を支援するため、ファッションフォトとユーザーのコメントを含む大規模で現実世界のデータセットを構築すること。
• ファッションキャプションタスクにおけるコメント多様性を定量化するための新規指標を提案すること。
• トピックモデリングとニューラルキャプションを組み合わせることで、生成コメントの正確性とスタイルの豊かさが向上することを実証すること。

提案手法

• オンラインスタイルコミュニティから得た30万枚のユーザー投稿フォトと500万件のコミュニティコメントを含む大規模ファッションデータセットNetiLookの構築。
• コメントの多様性を定量的に評価するための3つの新規指標（語彙的多様性、トピック多様性、意味的多様性）の設計。
• ニューラル画像キャプションモデルがより生き生きとした、文脈に富んだ、コミュニティ特有のコメントを生成するよう導くため、潜在的ディリクレ割り当て（LDA）をスタイル重み機構として統合。
• 注目メカニズムを備えたニューラル画像キャプションモデル（例：NC、Attention）を、トピックに基づくスタイル重みを注入することで変更し、出力生成を調整。
• トピックモデルと注目ベースのキャプションネットワークを共同で学習させ、視覚的コンテンツとスタイル表現の整合性を向上。
• スタイル重みを適用することで、長距離依存関係を保持し、生成コメントの感情的トーンと文化的関連性を強化。

実験結果

リサーチクエスチョン

• RQ1 オンラインファッションコミュニティに見られるダイナミックで表現豊かな「ネチス」風スタイルを反映するコメントを生成できるように、画像キャプションモデルはどのように改善できるか？
• RQ2 標準的なBLEUやROUGEスコアを超えて、ファッションフォトコメントの多様性を効果的に定量化する指標は何か？
• RQ3 潜在的トピックモデリングは、ニューラル画像キャプション出力のスタイルの豊かさと関与度をどの程度向上できるか？
• RQ4 トピックモデリングと注目ベースキャプションを組み合わせたハイブリッドモデルは、正確性と多様性の両面で、標準的なキャプションベースラインを上回ることができるか？
• RQ5 人間の評価者にとって、提案されたNSCフレームワークが生成するコメントの現実性と質は、人間がアノテートした出力やベースラインモデル出力と比べてどの程度高く評価されるか？

主な発見

• ユーザー研究においてNSCフレームワークはランク1の選好スコアを36.8％獲得し、NC（10.8％）やAttention（6.3％）モデルを顕著に上回った。
• 805件の人の評価において、NSCは上位2位までに76.6％の割合でランクインし、人間らしい質と受容性の高さを示した。
• 提案された多様性指標を用いた測定では、NSCはベースラインモデルよりも高い語彙的多様性とトピック多様性を示した。
• LDAに基づくスタイル重みの統合により、コメントの生き生きとした表現力と文脈的関連性が向上し、特に社会的ニュアンスや感情的トーンの捉えが強化された。
• ユーザーのフィードバックでは、絵文字の使用と視覚的コンテンツへの関連性がコメントの好まれる要因として強調され、これらはNSCによって効果的に捉えられていた。
• 30万枚のファッションフォトと500万件のコメントを含むNetiLookデータセットは、今後のコミュニティ風画像キャプション研究のための豊富で現実的なベンチマークを提供する。