[論文レビュー] Attend to You: Personalized Image Captioning with Context Sequence Memory Networks

Cesc Chunseong Park, Byeongchang Kim+1 more|arXiv (Cornell University)|Apr 21, 2017

Multimodal Machine Learning Applications参考文献 26被引用数 15

ひとこと要約

本稿では、アクティブ語彙や過去のテキスト生成など、ユーザー固有の文脈を活用することで、パーソナライズされた画像キャプション生成を実現する新しいメモリ拡張モデルであるコンテキストシーケンスメモリネットワーク（CSMN）を提案する。CNNを用いた順序付きモデリングにより、すべての生成済み語と文脈メタデータを構造化されたメモリに格納することで、長期依存関係の捉え込みを向上させ、110万件の投稿からなるInstagramデータセットにおいて、ハッシュタグ予測および投稿生成のタスクで最先端のモデルを上回る性能を発揮した。

ABSTRACT

We address personalization issues of image captioning, which have not been discussed yet in previous research. For a query image, we aim to generate a descriptive sentence, accounting for prior knowledge such as the user's active vocabularies in previous documents. As applications of personalized image captioning, we tackle two post automation tasks: hashtag prediction and post generation, on our newly collected Instagram dataset, consisting of 1.1M posts from 6.3K users. We propose a novel captioning model named Context Sequence Memory Network (CSMN). Its unique updates over previous memory network models include (i) exploiting memory as a repository for multiple types of context information, (ii) appending previously generated words into memory to capture long-term information without suffering from the vanishing gradient problem, and (iii) adopting CNN memory structure to jointly represent nearby ordered memory slots for better context understanding. With quantitative evaluation and user studies via Amazon Mechanical Turk, we show the effectiveness of the three novel features of CSMN and its performance enhancement for personalized image captioning over state-of-the-art captioning models.

研究の動機と目的

• 特にソーシャルメディアの文脈において、パーソナライズの欠如が顕著な画像キャプション生成モデルの課題に取り組むこと。
• ユーザー固有のライティングスタイルや語彙を画像キャプション生成に統合できるモデルを開発すること。
• ハッシュタグ予測や完全な投稿生成といった投稿自動化タスクにおける性能を向上させること。
• RNNベースのキャプション生成における勾配消失問題を、過去のすべての単語出力を明示的にメモリに格納することで克服すること。
• 個々のユーザーの好みや履歴に適応する文脈に配慮したキャプション生成を可能にすること。

提案手法

• CSMNは、ユーザー固有の語彙や画像記述子を含む、複数のタイプの文脈を格納するメモリコンponentを用いる。
• 各デコードステップで、過去に生成されたすべての語がメモリに追加され、勾配消失を回避しつつ長期依存関係のモデリングが可能になる。
• 順序付きメモリスロットにCNNを適用することで、近接するメモリエントリ間の文脈的関係を統合的に表現する。
• ソフトアテンション機構により、語生成時に関連するメモリコンテンツに選択的に注目できる。
• 教師強制学習により、訓練時におけるマーコフ性が保証され、時間ステップ間の予測が分離されて勾配の安定化が図られる。
• アーキテクチャは、CNNによる画像特徴の統合、メモリによるユーザー文脈の統合、およびメモリ上のアテンションを用いた自己回帰的テキスト生成を統合する。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張モデルは、ユーザー固有の語彙やライティングスタイルを用いて、画像キャプションのパーソナライズを効果的に実現できるか？
• RQ2 すべての生成済み語をメモリに格納することで、RNNの隠れ状態と比較して、長期依存関係モデリングがどのように向上するか？
• RQ3 順序付きメモリスロットのCNNベースの表現は、キャプション生成における文脈理解をどの程度向上させるか？
• RQ4 CSMNは、ハッシュタグ予測や完全な投稿生成といった実世界の投稿自動化タスクで、どの程度の性能を発揮するか？
• RQ5 多様なトピックにわたり一般化しつつ、個々のユーザーに対してパーソナライズを維持できるか？

主な発見

• ハッシュタグ予測において、AMT研究でCSMNは81.3%のヒューマンプレファレンスを達成し、次に優れたベースライン（1NN-UsrIm）の67.0%を上回った。
• 投稿生成において、CSMNは81.3%のヒューマンプレファレンスを達成し、次に優れたベースラインの73.0%を顕著に上回った。
• モデルは強固なパーソナライズ性を示し、同じ画像に対してもユーザーごとに意味的に異なる予測を出力しながら、関連性を保ったままであった。
• ファッション、料理、インテリアデザインなど多様なトピックにわたり、CSMNはトピックの変化に対しても強靭な性能を維持した。
• ユーザー研究により、CSMNが生成したキャプションには関連語、絵文字、メンションが適切に含まれており、パーソナライズされた表現が反映されていた。
• アブレーションスタディにより、3つの主要なイノベーションの有効性が検証された：多様なタイプの文脈メモリ、語の履歴保持、CNNベースのメモリ表現。