[論文レビュー] ParaCNN: Visual Paragraph Generation via Adversarial Twin Contextual CNNs

Shiyang Yan, Hua Yang+1 more|arXiv (Cornell University)|Apr 21, 2020

Multimodal Machine Learning Applications参考文献 34被引用数 7

ひとこと要約

この論文では、文間の文脈モデリングを用いた階層的CNNアーキテクチャを採用し、長く一貫性のある段落を生成する純粋な畳み込みニューラルネットワーク、ParaCNNを提案する。敵対的ツインネット訓練方式を導入することで前向きおよび後向きの特徴の一貫性を強制し、Stanford Visual Paragraphデータセットにおいて、従来のRNNベースのモデルよりも品質および生成の柔軟性の面で最先端の性能を達成した。

ABSTRACT

Image description generation plays an important role in many real-world applications, such as image retrieval, automatic navigation, and disabled people support. A well-developed task of image description generation is image captioning, which usually generates a short captioning sentence and thus neglects many of fine-grained properties, e.g., the information of subtle objects and their relationships. In this paper, we study the visual paragraph generation, which can describe the image with a long paragraph containing rich details. Previous research often generates the paragraph via a hierarchical Recurrent Neural Network (RNN)-like model, which has complex memorising, forgetting and coupling mechanism. Instead, we propose a novel pure CNN model, ParaCNN, to generate visual paragraph using hierarchical CNN architecture with contextual information between sentences within one paragraph. The ParaCNN can generate an arbitrary length of a paragraph, which is more applicable in many real-world applications. Furthermore, to enable the ParaCNN to model paragraph comprehensively, we also propose an adversarial twin net training scheme. During training, we force the forwarding network's hidden features to be close to that of the backwards network by using adversarial training. During testing, we only use the forwarding network, which already includes the knowledge of the backwards network, to generate a paragraph. We conduct extensive experiments on the Stanford Visual Paragraph dataset and achieve state-of-the-art performance.

研究の動機と目的

• 細かい視覚的詳細や関係性を捉えることができない短い画像キャプションの限界を解消すること。
• RNNベースの階層的モデルにおける逐次的ボトルネックおよび複雑なメモリ機構の課題を克服すること。
• 長さが可変な段落を強力な一貫性をもって生成できる柔軟な純粋なCNNベースのアーキテクチャを開発すること。
• 敵対的ツインネットワーク訓練を用いて、長距離依存関係のモデリングと文脈的一致性を向上させること。
• 再帰的アーキテクチャと比較して、より効果的かつ効率的なシーケンスモデリングを視覚的段落生成に可能にすること。

提案手法

• ParaCNNは、視覚的トピックを抽出するトピック畳み込みと、文のシーケンスを生成する単語畳み込みを備えた階層的CNNアーキテクチャを採用する。
• 以前に生成された文からの文脈特徴を視覚的トピックと統合することで、文の間での一貫性を確保する。
• 敵対的ツインネットワーク訓練方式を導入し、前方ネットワークが後方ネットワークの特徴に近づくように敵対的損失を用いて学習する。
• 推論段階では前方ネットワークのみを用いるが、敵対的学習によって後向き文脈を暗黙的に学習済みである。
• 特徴の質と多様性を向上させるために、平均プーリング、自己注意プーリング、および表現ペナルティサンプリングを用いる。
• 訓練目的はL2損失と敵対的損失を組み合わせることで、生成された段落の流暢さと事実的一致性を両立させる。

実験結果

リサーチクエスチョン

• RQ1 純粋なCNNアーキテクチャは、高い一貫性と詳細を備えた長文の視覚的段落生成を効果的にモデル化できるか？
• RQ2 敵対的ツインネットワーク訓練は、視覚的段落生成における長距離依存関係のモデリングをどのように改善するか？
• RQ3 CNNベースのアプローチは、多様で文脈的一致性のある段落を生成する点で、階層的RNNよりも優れているか？
• RQ4 ツインネットワーク方式は、将来の単語生成のための過去の文脈要約能力をどの程度向上させるか？
• RQ5 提案手法は、人間がアノテートした正解よりも、より詳細な細部や微妙な物体間の関係を生成できるか？

主な発見

• ParaCNNは、表現ペナルティサンプリングを用いたツインネットワークを採用した場合、Stanford Visual ParagraphデータセットでSOTAの性能を達成し、BLEU-4スコアは43.3、CIDErスコアは20.6を記録した。
• 敵対的ツインネットワーク訓練方式により生成品質が顕著に向上し、ベースラインのParaCNNと比較してCIDErスコアが3.1ポイント向上した。
• モデルはより詳細な細部と、微妙な物体およびそれらの関係性に関する新しい概念を生成でき、一部のケースでは人間がアノテートした正解をも上回った。
• ParaCNNは階層的RNNベースのモデルよりも収束が早く、BLEU、ROUGE、CIDErを含むすべての評価指標で優れた性能を示した。
• L2損失と敵対的ツイン訓練の組み合わせが最良の結果をもたらし、二重最適化戦略の有効性を確認した。
• 可視化結果から、ツインネットワーク版は標準のParaCNNベースラインと比較して、より詳細で一貫性があり、文脈的に正確な段落を生成していることが確認された。