[論文レビュー] Skeleton Key: Image Captioning by Skeleton-Attribute Decomposition

Yufei Wang, Zhe Lin+3 more|arXiv (Cornell University)|Apr 23, 2017

Multimodal Machine Learning Applications参考文献 46被引用数 16

ひとこと要約

本稿では、記述を骨格文（物体と関係性）と属性フレーズ（詳細な特性）に分解し、注意メカニズムを用いて別々に生成する、粗くから細かくまでの画像キャプションフレームワークを提案する。この手法は、MS-COCOおよびStock3Mで最先端の性能を達成しており、特に人間の評価と相関の高いSPICE指標において顕著な向上を示す。また、骨格と属性の長さを独立して制御できるため、可変長のキャプション生成が可能となる。

ABSTRACT

Recently, there has been a lot of interest in automatically generating descriptions for an image. Most existing language-model based approaches for this task learn to generate an image description word by word in its original word order. However, for humans, it is more natural to locate the objects and their relationships first, and then elaborate on each object, describing notable attributes. We present a coarse-to-fine method that decomposes the original image description into a skeleton sentence and its attributes, and generates the skeleton sentence and attribute phrases separately. By this decomposition, our method can generate more accurate and novel descriptions than the previous state-of-the-art. Experimental results on the MS-COCO and a larger scale Stock3M datasets show that our algorithm yields consistent improvements across different evaluation metrics, especially on the SPICE metric, which has much higher correlation with human ratings than the conventional metrics. Furthermore, our algorithm can generate descriptions with varied length, benefiting from the separate control of the skeleton and attributes. This enables image description generation that better accommodates user preferences.

研究の動機と目的

• 生成モデルが訓練データをそのままで繰り返す傾向にあり、新しい属性-物体の組み合わせに対処しづらいという自己回帰的キャプションモデルの限界を解消すること。
• コアなシーン構造（骨格）の生成と詳細な属性記述の生成を分離することで、キャプションの多様性と正確性を向上させること。
• 骨格と属性の生成を別々に制御することで、ユーザーがカスタマイズ可能なキャプション長を実現すること。
• 従来の指標よりも人間の判断と相関性の高いSPICE指標での性能向上を図ること。

提案手法

• モデルは二段階のプロセスを用いる：まず、エンコーダ・デコーダに注意機構を組み合わせたもので、主な物体とそれらの関係性を記述する骨格文を生成する。
• 第二段階では、骨格に含まれる各物体に対して、別個のAttr-LSTMを用いて関連する属性を生成する。この際、注意マップを微調整するpost-word α（後処理）注意メカニズムを適用する。
• 認知神経科学にインspiredされた粗くから細かくまでの生成戦略を採用し、トップダウンの物体認識とオブジェクトベースの注意メカニズムを模倣する。
• 骨格と属性のそれぞれに別々の長さ要因を用いる長さ制御機構を導入し、柔軟かつユーザーに合わせたキャプション生成を可能にする。
• 属性予測の精度を向上させるために、post-word α注意の微調整を用い、色、サイズ、その他の属性の予測に特化した注意マップの改善を実現する。
• モデルはMS-COCOおよびStock3M上でエンドツーエンドに訓練され、SPICE、BLEU、ROUGE、METEORなどの指標を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 骨格と属性の段階に分けて画像キャプションを生成することで、キャプションの質と多様性が向上するか？
• RQ2 粗くから細かくまでの分解によって、人間の判断と相関性の高いSPICE指標での性能が向上するか？
• RQ3 骨格と属性のコンポonentを別々に制御することで、可変長のキャプションを生成できるか？
• RQ4 提案されたpost-word α注意の微調整は、属性予測の正確性をどの程度向上させるか？
• RQ5 未学習の属性-物体の組み合わせを含む画像に対して、より独自で新規性のあるキャプションを生成できるか？

主な発見

• 粗くから細かくまでのモデルは、強力なベースラインと比較してSPICEスコアを顕著に向上させ、人間の判断との整合性が高まっていることを示している。
• MS-COCOテストセットにおいて、同モデルは一意なキャプションの割合を3%、新規キャプションの割合を8%向上させた。
• post-word α注意の微調整により、属性サブカテゴリのSPICEスコアが向上し、色で+0.003、サイズで+0.003、基数で+0.004、質感で+0.001の向上を記録した。
• モデルは柔軟なキャプション長の制御が可能である：骨格と属性のそれぞれに別々の長さ要因を調整することで、ベースラインより多様でユーザーに合わせた記述が可能になった。
• MS-COCOデータセットでは、複数の指標で一貫した向上が得られ、特にSPICE指標で顕著な改善が見られた。
• 定性的な結果から、モデルは特に訓練データに一緒に登場しなかった物体の属性をより正確にかつ多様に記述するキャプションを生成していることが明らかになった。