[論文レビュー] Fashion Captioning: Towards Generating Accurate Descriptions with Semantic Rewards

Xuewen Yang, Heming Zhang+7 more|arXiv (Cornell University)|Aug 6, 2020

Multimodal Machine Learning Applications参考文献 43被引用数 10

ひとこと要約

本稿では、属性レベルの意味的（ALS）および文レベルの意味的（SLS）報酬を統合することで、記述の正確性と表現力を向上させる、ファッション画像のキャプション生成のための新規強化学習ベースのフレームワークを提案する。FACADと呼ばれる新しい大規模データセットを用い、最大尤度推定、属性埋め込み、強化学習を併用して学習することで、従来手法よりも正確で詳細かつ魅力的な記述を生成するモデルが得られ、自動評価および人間評価の両面で最先端の性能を達成した。

ABSTRACT

Generating accurate descriptions for online fashion items is important not only for enhancing customers' shopping experiences, but also for the increase of online sales. Besides the need of correctly presenting the attributes of items, the expressions in an enchanting style could better attract customer interests. The goal of this work is to develop a novel learning framework for accurate and expressive fashion captioning. Different from popular work on image captioning, it is hard to identify and describe the rich attributes of fashion items. We seed the description of an item by first identifying its attributes, and introduce attribute-level semantic (ALS) reward and sentence-level semantic (SLS) reward as metrics to improve the quality of text descriptions. We further integrate the training of our model with maximum likelihood estimation (MLE), attribute embedding, and Reinforcement Learning (RL). To facilitate the learning, we build a new FAshion CAptioning Dataset (FACAD), which contains 993K images and 130K corresponding enchanting and diverse descriptions. Experiments on FACAD demonstrate the effectiveness of our model.

研究の動機と目的

• ファッションアイテムの正確で表現力のあるキャプションを生成する課題に取り組むこと。これは、微細な属性とスタイル表現の難しさにより困難である。
• 画像キャプション生成における最大尤度推定（MLE）の限界を克服すること。MLEは、重要な属性やグローバルな意味を強調しない。
• MLE、属性埋め込み、強化学習を組み合わせた新しい学習フレームワークを構築すること。
• 993K枚の画像と13万件の多様で魅力的な記述を備えた、最初の大規模ファッションキャプションデータセットFACADを構築すること。
• カスタム報酬関数を用いて、属性の一貫性と文レベルの意味的意味を明示的にモデル化することで、キャプション品質を向上させること。

提案手法

• 属性マッチングアルゴリズムを用いた属性レベルの意味的（ALS）報酬を提案し、生成されたキャプションがアイテムの属性を正しく記述することを保証する。
• 事前学習済みの文分類器に基づく文レベルの意味的（SLS）報酬を導入し、キャプションの高レベルな意味的意味を保持する。
• 視覚的属性予測を監視信号として活用し、画像特徴の質を向上させるとともに、正確な属性抽出を保証する。
• 予測された属性に条件付けられた条件付きLSTMデコーダーを用い、より関連性が高く詳細なキャプションを生成する。
• 最大尤度推定（MLE）、属性埋め込み、強化学習（RL）を統合し、共同学習を実現する。
• 属性、カテゴリ、表現的な記述の豊富なアノテーションを備えたFACADデータセット（993K枚のファッション画像を含む）を活用して、モデルの学習と評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 意味的報酬を備えた強化学習フレームワークは、MLEベースのベースラインと比較して、ファッションキャプションの正確性と表現力の両面で顕著に向上させるか？
• RQ2 提案された属性レベルの意味的（ALS）報酬は、生成キャプションにおける属性記述の一貫性をどの程度向上させるか？
• RQ3 文レベルの意味的（SLS）報酬は、生成キャプションの意味的整合性およびカテゴリの一貫性をどの程度向上させるか？
• RQ4 同じ属性を共有する類似アイテムから学習することで、モデルは多様で魅力的な記述を生成する能力を発揮できるか？
• RQ5 属性埋め込みと視覚的属性予測の統合は、全体のキャプション生成性能をどの程度向上させるか？

主な発見

• 提案されたSRFCモデルは、人間評価において19.7％の最高の人間好み率を達成し、主観評価においてすべてのベースラインを大きく上回った。
• 自動評価スコアとして、37.5 BLEU-4、20.6 ROUGE-L、10.1 CIDErを達成し、標準的な指標において優れた性能を示した。
• 属性の一貫性が優れており、正解キャプションに存在しなくても「ノッチラペル」などの属性を正しく特定・記述できた。
• 定性的分析の結果、モデルは類似アイテムから表現力のあるフレーズを学習し、それを新しいターゲットに転送することで、多様性と豊かさが向上することがわかった。
• SRFCモデルのFleiss’ kappa一致率が0.63であったことから、人間評価者間で著しい一貫性があることが示され、信頼性の高い人間評価結果が得られた。
• アブレーションスタディの結果、MLEと属性埋め込みに加え、ALSとSLS報酬を組み合わせることで最良の性能が得られ、多目的学習フレームワークの有効性が裏付けられた。