[論文レビュー] Integrating Image Captioning with Rule-based Entity Masking

Aditya Mogadala, Xiaoyu Shen+1 more|arXiv (Cornell University)|Jul 22, 2020

Multimodal Machine Learning Applications参考文献 23被引用数 4

ひとこと要約

本稿では、知識グラフのエンティティを用いたルールベースのエンティティマスキングを統合することで、生成キャプションの解釈可能性と制御性を向上させる、新しいエンドツーエンドの画像キャプション生成モデル、Interpret-ICを提案する。局所的オブジェクト特徴を意味的に豊かなエンティティ表現に置き換え、人間が理解可能なマスクを適用することで、ベースライン手法と比較して、特に誤ったオブジェクト注目を是正する点で、オブジェクトカバレッジ、キャプションの正確性、多様性の面で優れた性能を達成している。

ABSTRACT

Given an image, generating its natural language description (i.e., caption) is a well studied problem. Approaches proposed to address this problem usually rely on image features that are difficult to interpret. Particularly, these image features are subdivided into global and local features, where global features are extracted from the global representation of the image, while local features are extracted from the objects detected locally in an image. Although, local features extract rich visual information from the image, existing models generate captions in a blackbox manner and humans have difficulty interpreting which local objects the caption is aimed to represent. Hence in this paper, we propose a novel framework for the image captioning with an explicit object (e.g., knowledge graph entity) selection process while still maintaining its end-to-end training ability. The model first explicitly selects which local entities to include in the caption according to a human-interpretable mask, then generate proper captions by attending to selected entities. Experiments conducted on the MSCOCO dataset demonstrate that our method achieves good performance in terms of the caption quality and diversity with a more interpretable generating process than previous counterparts.

研究の動機と目的

• 局所的画像特徴に対するブラックボックス注目メカニズムに依存する既存の画像キャプションモデルにおける解釈可能性の欠如に対処すること。
• ルールベースのマスキングを通じて、人間が理解可能な形でどの視覚的エンティティをキャプションに含めるかを明示的に制御できること。
• 局所的オブジェクトを意味的に豊かな知識グラフのエンティティに根拠づけることで、キャプションの品質と多様性を向上させること。
• 解釈可能性をもつマスキングによって、エンドツーエンド学習の能力を損なわせることなく、正確性と多様性の両方を向上させられることを示すこと。

提案手法

• モデルは、検出された局所的オブジェクトを知識グラフのエンティティにマッピングするマルチラベル画像分類器を用い、生の視覚的特徴を分散表現としてのエンティティ表現に置き換える。
• 人間が理解可能なマスクは、文脈的関連性とユーザーの意図に基づいて関連するエンティティを選択する手作業のルールによって生成される。
• マスクは、キャプション生成中に選択されたエンティティに注目重みを動的に割り当て、望ましい視覚的オブジェクトに集中する注目を保証する。
• マスクをエンティティ特徴上での学習可能なソフトゲーティング機構として統合することで、フレームワークはエンドツーエンドの微分可能性を維持する。
• マスクされたエンティティ特徴に対するソフト注目を用いてキャプションを生成し、マスクがオブジェクト選択の制御メカニズムとして機能する。
• 本手法は、BLEU、ROUGE、および多様性指標（語彙サイズ、新しいユニグラム・バイグラム）を含む標準指標を用いてMSCOCOで評価される。

実験結果

リサーチクエスチョン

• RQ1 ルールベースのエンティティマスキングは、オブジェクト選択を明示的かつ人間が理解可能な形にすることで、画像キャプションモデルの解釈可能性を向上させることができるか？
• RQ2 局所的オブジェクトを知識グラフのエンティティに根拠づけることで、生の視覚的特徴と比較して、より良いキャプション品質と正確なオブジェクト帰属が達成できるか？
• RQ3 マスキングによる解釈可能性は、敵対的またはオートエンコーダー学習スキームを必要とせずに、キャプションの多様性を向上させられるか？
• RQ4 マスクは、誤ったまたは関連のない視覚的オブジェクトに注目してしまうベースラインモデルの誤りをどの程度是正できるか？

主な発見

• Interpret-ICは、新しいキャプション（NC）指標で51.54のスコアを達成し、ベースモデル（36.23）を著しく上回り、敵対的多様性ベースライン（68.62）に近づいた性能を示した。
• モデルは、語彙の位置ごとにより高い一意のユニグラムおよびバイグラムの多様性を示し、より多様で繰り返しの少ないキャプション生成を実現した。
• Interpret-ICは、ベースモデルが誤って「sheep」に注目してしまうのを是正し、誤分類されたエンティティに低い重みを割り当てることで、注目エラーを是正した。
• マスクにより、顕著で関連の高いエンティティに高い注目重みが割り当てられ、より正確で情報豊かなキャプションが生成された。
• 多様性のための訓練を受けていなくても、862語彙サイズ（VS）を達成し、ベースモデル（443）を上回った。これは語彙の多様性が向上したことを示している。
• BLEUやROUGEといった標準指標においても、強い性能を維持しており、解釈可能性がキャプション品質を損なわないことを確認した。