[論文レビュー] RATT: Recurrent Attention to Transient Tasks for Continual Image Captioning

Riccardo Del Chiaro, Bartłomiej Twardowski+2 more|arXiv (Cornell University)|Jul 13, 2020

Multimodal Machine Learning Applications参考文献 27被引用数 25

ひとこと要約

この論文は、LSTMベースの画像キャプション生成のための継続的学習フレームワークRATT（再帰的一時的タスクへの注意）を提案する。RATTは、タスク固有の語彙の一時的性質を明示的にモデル化する。タスク固有の注意マスクを適用し、正則化および distillation 法を再帰的アーキテクチャに適応させることで、MS-COCO および Flickr30k における5つの連続的キャプションタスクにおいて、ゼロの災難的忘却を達成し、自動評価および人間評価の両方でEWCおよびLwFのベースラインを上回る性能を発揮する。

ABSTRACT

Research on continual learning has led to a variety of approaches to mitigating catastrophic forgetting in feed-forward classification networks. Until now surprisingly little attention has been focused on continual learning of recurrent models applied to problems like image captioning. In this paper we take a systematic look at continual learning of LSTM-based models for image captioning. We propose an attention-based approach that explicitly accommodates the transient nature of vocabularies in continual image captioning tasks -- i.e. that task vocabularies are not disjoint. We call our method Recurrent Attention to Transient Tasks (RATT), and also show how to adapt continual learning approaches based on weight egularization and knowledge distillation to recurrent continual learning problems. We apply our approaches to incremental image captioning problem on two new continual learning benchmarks we define using the MS-COCO and Flickr30 datasets. Our results demonstrate that RATT is able to sequentially learn five captioning tasks while incurring no forgetting of previously learned ones.

研究の動機と目的

• 連続的タスク学習における再帰的画像キャプションモデルにおける災難的忘却を解消すること。
• 複数のタスクにまたがって再利用される語彙の性質を、継続的画像キャプションにおいて一時的性質としてモデル化すること。
• EWC や LwF といった既存の継続的学習手法を、順方向生成タスク向けの再帰的LSTMアーキテクチャに適応すること。
• タスク分割手法を用いて、MS-COCO および Flickr30k データセットを用いた継続的画像キャプションのための新規ベンチマークを確立すること。
• 複数のタスクにわたる自動評価および人間評価を通じて、RATTの有効性を評価すること。

提案手法

• 訓練中に関連する語彙コンponentsにのみ注目するタスク固有の注意マスク機構を提案し、タスク固有語彙の一時的性質を反映する。
• 隠れ状態勾配に基づくフィッシャー情報の計算により、再帰的ネットワークにElastic Weight Consolidation（EWC）を適応させる。
• RNN向けに知識蒸留（LwF）を変更し、タスク間で隠れ状態および出力確率に蒸留損失を適用する。
• MS-COCO および Flickr30k を5つの連続的かつ重複する語彙タスク（例：スポーツ、ウェディング、ニュースなど）に分割することで、2つの新しい継続的学習ベンチマークを設計する。
• 画像エンコーダにResNet-101を、キャプション生成のためのデコーダにLSTMを用いた標準的なエンコーダデコーダアーキテクチャを採用する。
• 推論および訓練中に現在のタスクIDを条件として注意機構に作用させるための学習可能なタスク埋め込みを適用する。

実験結果

リサーチクエスチョン

• RQ1 タスク語彙が一時的かつ重複する状況下で、再帰的注意機構が画像キャプションにおける災難的忘却を効果的に軽減できるか。
• RQ2 EWC や LwF といった標準的な継続的学習手法を再帰的LSTMベースの画像キャプションモデルに適応した場合、どのような性能を示すか。
• RQ3 RATTは、新しいタスクを学習する際、以前に学習したタスクの性能をどの程度保持できるか、ベースラインと比較して。
• RQ4 画像キャプションタスクにおける一時的語彙構造は、分離クラス設定とは根本的に異なる継続的学習アプローチを必要とするか。
• RQ5 人間評価により、RATTが生成するキャプションが、意味的正確性および関連性において、ベースラインモデルを上回ることを確認できるか。

主な発見

• RATTは、MS-COCO および Flickr30k の両方で5つの連続的キャプションタスクにおいて、ゼロの災難的忘却を達成し、以前のタスクでの性能低下が一切ない。
• MS-COCO では、人間評価においてEWCおよびLwFを上回り、75.0%から85.0%のユーザーがEWCのキャプションよりもRATTのキャプションを好んだ。また、LwFのキャプションよりも77.5%から82.5%のユーザーがRATTのキャプションを好んだ。
• Flickr30k では、EWCに対して61.8%から76.4%、LwFに対して45.5%から69.1%のユーザーがRATTのキャプションを好んだ。これは一貫した優位性を裏付ける。
• 自動評価では、RATTはすべてのタスクで高いBLEU、ROUGE、CIDErスコアを維持し、最小限の忘却（例：MS-COCOではCIDErが-1.5、Flickr30kでは0.0）を示した。
• アブレーションスタディにより、タスク固有の注意マスクが不可欠であることが確認され、その除去により顕著な忘却が生じた。
• ゼロの忘却を達成しているにもかかわらず、RATTは限定的な柔軟性と後退的転送を示しており、新しい知識によって古いタスクの性能が向上しないことが判明した。