[論文レビュー] Dual-Level Collaborative Transformer for Image Captioning

Yunpeng Luo, Jiayi Ji+6 more|arXiv (Cornell University)|Jan 16, 2021

Multimodal Machine Learning Applications参考文献 31被引用数 24

ひとこと要約

本稿では、画像字幕生成のための領域特徴（オブジェクト検出から得られる）とグリッド特徴（畳み込みネットワークから得られる）を効果的に統合する、デュアルレベル協調変換器（DLCT）を提案する。内部レベルの特徴モデリングには、包括的関係自己注意（Comprehensive Relation Attention）を備えたデュアルウェイ自己注意（Dual-way Self-Attention）を導入し、外部レベルの統合には、幾何的整合性グラフを用いた局所制約付きクロスアテンション（Locality-Constrained Cross Attention）を採用することで、意味的ノイズを低減し、特徴の補完性を向上させた。その結果、Karpathyスプリットで133.8%のCIDEr、公式MS-COCOテストセットで135.4%のCIDErを達成し、最先端性能を実現した。

ABSTRACT

Descriptive region features extracted by object detection networks have played an important role in the recent advancements of image captioning. However, they are still criticized for the lack of contextual information and fine-grained details, which in contrast are the merits of traditional grid features. In this paper, we introduce a novel Dual-Level Collaborative Transformer (DLCT) network to realize the complementary advantages of the two features. Concretely, in DLCT, these two features are first processed by a novelDual-way Self Attenion (DWSA) to mine their intrinsic properties, where a Comprehensive Relation Attention component is also introduced to embed the geometric information. In addition, we propose a Locality-Constrained Cross Attention module to address the semantic noises caused by the direct fusion of these two features, where a geometric alignment graph is constructed to accurately align and reinforce region and grid features. To validate our model, we conduct extensive experiments on the highly competitive MS-COCO dataset, and achieve new state-of-the-art performance on both local and online test sets, i.e., 133.8% CIDEr-D on Karpathy split and 135.4% CIDEr on the official split. Code is available at https://github.com/luo3300612/image-captioning-DLCT.

研究の動機と目的

• 領域特徴が文脈的および微細な視覚的詳細を捉えることの限界を解消すること。
• アテンション機構における領域特徴とグリッド特徴の直接統合によって生じる意味的ノイズを克服すること。
• 幾何的整合性を用いて、領域特徴とグリッド特徴の間で効果的かつノイズのない相互作用を可能にすること。
• 両特徴タイプの相補的強みを活用して、画像字幕生成における最先端性能を達成すること。
• デュアルレベル協調を統合することで、視覚的表現学習を強化する統一フレームワークの構築すること。

提案手法

• 領域特徴とグリッド特徴の固有の性質を別々にモデリングするため、デュアルウェイ自己注意（DWSA）を導入する。
• 各特徴タイプ内での絶対的および相対的幾何的関係を符号化するため、包括的関係アテンション（CRA）を採用する。
• 幾何的整合性グラフを用いた局所制約付きクロスアテンション（LCCA）を提案し、領域特徴とグリッド特徴間のクロスアテンションをガイドする。
• 空間的近接性と重複度に基づいて、幾何的整合性グラフを構築し、意味的に関連する特徴のみが相互作用するように保証する。
• エンコーダ・デコーダの変換器においてマルチヘッドアテンションを用い、統合された視覚的表現に基づいて字幕を生成する。
• 学習された位置エンコーディングと幾何的事前知識を適用し、アテンションの局所化と特徴理解を向上させる。

実験結果

リサーチクエスチョン

• RQ1 領域特徴とグリッド特徴を組み合わせることで、単独で使用する場合を上回る画像字幕生成性能を達成できるか？
• RQ2 幾何的事前知識を自己アテンションおよびクロスアテンション機構に効果的に統合することで、意味的ノイズを低減できるか？
• RQ3 幾何的整合性を備えた構造的クロスアテンションが、視覚的表現の質に与える影響は何か？
• RQ4 提案されたデュアルレベル協調が、アテンションベースの画像字幕生成における標準的な統合戦略を上回るか？
• RQ5 制御された特徴相互作用により、微細な視覚的詳細および文脈的詳細をよりよく捉えることができるか？

主な発見

• DLCTは、Karpathyスプリットで133.8%のCIDEr、公式MS-COCOテストセットで135.4%のCIDErを達成し、新たな最先端性能を樹立した。
• LCCAベースのフレームワークに包括的関係アテンション（CRA）を追加した際、CIDEr-Dは133.0%から133.8%に向上した。
• LCCAを削除すると性能は132.6% CIDErに低下し、ノイズ低減および特徴強化におけるその重要性が示された。
• 完全二部グラフ（CBG）を用いたクロスアテンションでは、LCCAに比べて悪い結果（130.8% CIDEr）が得られたことから、非構造的統合が有害であることが確認された。
• 定性的分析の結果、DLCTは「青」や「黄色」のような記述語を生成する際、関連するグリッドを適切に注目していることが示され、局所化の向上が確認された。
• 可視化結果から、DLCTは特に「トラック」のような複雑な構造に対して、より正確で微細なアテンションマップを生成していることが確認された。