[論文レビュー] Figure Captioning with Reasoning and Sequence-Level Training

Charles Chen, Ruiyi Zhang+6 more|arXiv (Cornell University)|Jun 7, 2019

Multimodal Machine Learning Applications参考文献 43被引用数 7

ひとこと要約

本稿では、図のキャプション作成のための新しいデータセットFigCAPと、正確なラベルの注目を可能にするLabel Maps Attentionおよび図のラベル間の関係をモデル化するRelation Maps Attentionという2つの新しい注目メカニズムを提案する。さらに、露出バイアスを軽減し、長文キャプション生成を改善するため、シーケンスレベルの訓練に強化学習を採用しており、高レベルおよび詳細キャプション作成の両タスクでベースラインを顕著に上回る性能を発揮する。

ABSTRACT

Figures, such as bar charts, pie charts, and line plots, are widely used to convey important information in a concise format. They are usually human-friendly but difficult for computers to process automatically. In this work, we investigate the problem of figure captioning where the goal is to automatically generate a natural language description of the figure. While natural image captioning has been studied extensively, figure captioning has received relatively little attention and remains a challenging problem. First, we introduce a new dataset for figure captioning, FigCAP, based on FigureQA. Second, we propose two novel attention mechanisms. To achieve accurate generation of labels in figures, we propose Label Maps Attention. To model the relations between figure labels, we propose Relation Maps Attention. Third, we use sequence-level training with reinforcement learning in order to directly optimizes evaluation metrics, which alleviates the exposure bias issue and further improves the models in generating long captions. Extensive experiments show that the proposed method outperforms the baselines, thus demonstrating a significant potential for the automatic captioning of vast repositories of figures.

研究の動機と目的

• 視覚的データ、図のラベル、図の関係性の理解を要する、自動図のキャプション作成という未だ十分に検討されていない問題に取り組む。
• 図のキャプション作成研究を支援するため、FigureQAに基づいて構築された新しい大規模データセット（FigCAP）を構築する。
• 図の特徴的な構造、例えばラベル付きのデータポイントや関係パターンに対応した注目メカニズムを開発する。
• シーケンスレベルの強化学習による露出バイアスの軽減を通じて、長文キャプション生成を改善する。

提案手法

• ラベルの位置と値を注目マップとしてエンコードすることで、デコーダーが図内の特定のラベルに注目できるようにするLabel Maps Attentionを提案する。
• 学習された関係特徴を用いて、図のラベル間の論理的関係（例：「バーAはバーBより高い」）をモデル化するRelation Maps Attentionを導入する。
• 訓練中にCIDEr、BLEU、METEOR、ROUGEの指標を直接最適化できるように、シーケンスレベルの訓練に強化学習を採用する。
• CNNとLSTMのコンponentsを備えたエンコーダ・デコーダフレームワークを採用し、図から視覚的特徴を抽出して自然言語のキャプションに変換する。
• 強化学習において、累積報酬に基づいてモデルを更新するためのポリシー勾配法を採用する。
• バリデーションセット上でハイパーパrameterをチューニングし、テストセット上で標準的な自動評価指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 FigureQAに基づく新しいデータセットが、図のキャプション作成モデルの性能と再現可能性を向上させることができるか？
• RQ2 特化した注目メカニズム（Label Maps AttentionとRelation Maps Attention）が、図のラベル固有の情報および関係的情報を効果的に捉えられるか？
• RQ3 シーケンスレベルの強化学習による訓練が、露出バイアスを軽減し、図のキャプション作成における長文生成をどれほど改善できるか？
• RQ4 関係性推論とラベルに特化した注目を統合することで、詳細な図の記述におけるキャプション品質に測定可能な向上が見られるか？

主な発見

• Label Maps Attentionは、高レベルおよび詳細キャプション作成の両タスクでキャプション生成性能を顕著に向上させ、図固有のラベルに注目することの価値を示している。
• Relation Maps Attentionは、特に比較的値などの関係的記述が必要な詳細キャプションにおいて、顕著な向上をもたらしている。
• シーケンスレベルの強化学習による訓練は露出バイアスを効果的に軽減し、特にFigCAP-Dデータセットにおいて長文キャプションの性能向上に寄与している。
• Label Maps Attention、Relation Maps Attention、およびRL訓練の組み合わせにより、CIDEr、BLEU、METEOR、ROUGEの複数の指標で最先端の性能が達成された。
• Att_F、Att_L、Att_RにRLを組み合わせたモデル（F+Att_L+Att_R+RL）は、すべてのベースラインを上回り、提案されたコンponentsの相乗効果を確認した。
• 複雑な注目メカニズムを用いる場合、高レベルと詳細キャプション作成の性能差がより大きくなることから、詳細キャプション作成はより困難であり、関係性モデリングの恩恵をより多く受けることが示唆された。