[論文レビュー] Curiosity-driven Reinforcement Learning for Diverse Visual Paragraph Generation

Yadan Luo, Zi Huang+4 more|arXiv (Cornell University)|Aug 1, 2019

Multimodal Machine Learning Applications参考文献 57被引用数 7

ひとこと要約

本稿では、内在的欲求報酬と方策勾配学習を統合することで、多様性と正確性を向上させる視覚的段落生成のための好奇心駆動型強化学習（CRL）フレームワークを提案する。状態遷移の予測不確実性を内在的報酬としてモデル化することで、エージェントはまれで正確な記述を探索する。一方、時系列差分学習により、遅延した外在的報酬が推定され、割引付き模倣学習により事前学習を必要とせず収束が加速される。これにより、スタンフォード画像-段落データセットにおいてSOTAを38.4%上回る結果を得た。

ABSTRACT

Visual paragraph generation aims to automatically describe a given image from different perspectives and organize sentences in a coherent way. In this paper, we address three critical challenges for this task in a reinforcement learning setting: the mode collapse, the delayed feedback, and the time-consuming warm-up for policy networks. Generally, we propose a novel Curiosity-driven Reinforcement Learning (CRL) framework to jointly enhance the diversity and accuracy of the generated paragraphs. First, by modeling the paragraph captioning as a long-term decision-making process and measuring the prediction uncertainty of state transitions as intrinsic rewards, the model is incentivized to memorize precise but rarely spotted descriptions to context, rather than being biased towards frequent fragments and generic patterns. Second, since the extrinsic reward from evaluation is only available until the complete paragraph is generated, we estimate its expected value at each time step with temporal-difference learning, by considering the correlations between successive actions. Then the estimated extrinsic rewards are complemented by dense intrinsic rewards produced from the derived curiosity module, in order to encourage the policy to fully explore action space and find a global optimum. Third, discounted imitation learning is integrated for learning from human demonstrations, without separately performing the time-consuming warm-up in advance. Extensive experiments conducted on the Standford image-paragraph dataset demonstrate the effectiveness and efficiency of the proposed method, improving the performance by 38.4% compared with state-of-the-art.

研究の動機と目的

• 視覚的段落生成におけるモード崩壊を解消する。具体的には、モデルが一般的なフレーズを繰り返すのではなく、多様で正確な記述を捉えるようにする。
• 段落生成のための強化学習において、疎で遅延する外在的報酬の課題を克服する。
• 時間のかかる事前学習を排除するため、割引付き模倣学習を方策最適化プロセスに統合する。
• 内在的欲求と外在的評価信号を組み合わせることで、方策ネットワークの探索と収束を改善する。

提案手法

• CRLフレームワークは、状態遷移の予測不確実性に基づく内在的報酬を導入し、まれで正確な視覚的記述の探索を促進する。
• 時系列差分学習を用いて、各タイムステップでの期待外在報酬を推定し、遅延したフィードバックにもかかわらず、訓練中に密な報酬信号を提供する。
• 方策ネットワークは、内在的報酬と推定外在報酬の組み合わせを用いた方策勾配により訓練され、長期的な意思決定をガイドする。
• 割引付き模倣学習を統合し、人間のデモンストレーションから初期方策の監視を提供することで、別個のウォームアップ段階の必要性を排除する。
• アーキテクチャは、言語LSTMと組み合わせたアップダウンアテンションメカニズムを採用し、画像領域を動的に注目して一貫性があり詳細な段落を生成する。
• 好奇心モジュールは、実際の次状態と予測された次状態の間の予測誤差を計算し、これを新しい視覚的言語的パターンの探索を促進する内在的報酬として用いる。

実験結果

リサーチクエスチョン

• RQ1 内在的欲求報酬は、まれで正確な記述の探索を促進することで、視覚的段落生成におけるモード崩壊を効果的に緩和できるか？
• RQ2 評価指標からの疎で遅延する外在的報酬を、訓練中にどのように推定できるか。これにより、安定した方策最適化が可能か？
• RQ3 割引付き模倣学習は、視覚的段落生成における収束を加速するために、従来の事前学習をどの程度代替できるか？
• RQ4 内在的欲求と外在的報酬推定を組み合わせることで、標準的なRLベースラインと比較して、生成段落の多様性と一貫性が向上するか？

主な発見

• 提案されたCRL手法は、スタンフォード画像-段落データセットにおいて、SOTAベースライン比でCIDErスコアを38.4%相対的に向上させた。
• CRLモデルは、内在的報酬のアブレーションを施したベースライン（40エポック）と比較して、約25エポックで顕著に高速に収束した。
• CRLを用いたアップダウンアテンションベースの方策ネットワークは、内在的報酬なしのCRLと比較してCIDErを16.36%向上させ、強化学習なしのCRLと比較して97.89%向上させた。
• 意味的グラフ解析の結果、CRLで生成された段落は、ベースラインと比較してより広範な語彙カバレッジと豊富な文法的関係を示しており、人間によるアノテーションの多様性に近づいた。
• 勾配クリッピングと学習率調整により、訓練報酬の分散が低減され、CRL手法は安定的で滑らかな報酬推移を示した。
• 局所化された視覚的特徴（領域ベース）は、ResNet特徴よりも優れており、特にアップダウンアテンションメカニズムと組み合わせると、段落生成における局所的視覚表現の重要性が顕著になった。