[論文レビュー] ContCap: A scalable framework for continual image captioning

Giang Nguyen, Tae Joon Jun+3 more|arXiv (Cornell University)|Sep 19, 2019

Multimodal Machine Learning Applications参考文献 33被引用数 10

ひとこと要約

ContCap は、偽ラベル付け、選択的重み固定（エンコーダーまたはデコーダー）、特徴の distillation を用いて、継続的学習を画像キャプションに統合するスケーラブルなフレームワークである。標準的な微調整よりも顕著に優れており、特に順次的クラス追加において顕著である。1つのクラスずつ5つのクラスを追加した際、古いタスクでの CIDEr スコアは 15.1（微調整では 4.8）を記録した。

ABSTRACT

While advanced image captioning systems are increasingly describing images coherently and exactly, recent progress in continual learning allows deep learning models to avoid catastrophic forgetting. However, the domain where image captioning working with continual learning has not yet been explored. We define the task in which we consolidate continual learning and image captioning as continual image captioning. In this work, we propose ContCap, a framework generating captions over a series of new tasks coming, seamlessly integrating continual learning into image captioning besides addressing catastrophic forgetting. After proving forgetting in image captioning, we propose various techniques to overcome the forgetting dilemma by taking a simple fine-tuning schema as the baseline. We split MS-COCO 2014 dataset to perform experiments in class-incremental settings without revisiting dataset of previously provided tasks. Experiments show remarkable improvements in the performance on the old tasks while the figures for the new surprisingly surpass fine-tuning. Our framework also offers a scalable solution for continual image or video captioning.

研究の動機と目的

• 新しい視覚的クラスが段階的に導入される状況において、画像キャプションの継続的学習における「深刻な忘却」を解消すること。
• 古いデータを再訪問しない非再現型のスケーラブルな継続的画像キャプション手法を開発すること。
• 正則化に基づく技術（偽ラベル付け、重み固定、特徴の distillation）が、古いタスクおよび新しいタスクの両方で性能を維持する有効性を評価すること。
• 順次的クラス追加における失敗モードを解明し、『段階的深刻な忘却』を重要な課題として特定すること。
• マルチモーダルな生成モデルが、単モーダルタスク向けに設計された継続的学習技術から利益を得られることを示すこと。

提案手法

• 正則化に基づく技術を用いてエンコーダ-デコーダー型画像キャプションと継続的学習を統合する ContCap フレームワークを提案する。
• 新たなタスクにおける予測の安定化を図るため、先行モデルの出力を監視として用いて偽ラベル付けを実施する。
• 以前のタスクからの知識を保持するために、エンコーダーまたはデコーダーのいずれかを対象として選択的重み固定を適用する。
• 隠れ表現の整合性を保つために、古いモデルと新しいモデルの間で特徴の distillation を実装する。
• データリプレイなしに、MS-COCO 2014 を順次タスクストリームに分割することで、クラスインクリメンタル設定で段階的に学習を実施する。
• 標準的な画像キャプション評価指標（BLEU、CIDEr、ROUGE）を用いて、さまざまな設定下で古いタスクおよび新しいタスクの両方の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的な微調整は、深刻な忘却を伴わずに継続的画像キャプションに効果的に適用可能か？
• RQ2 正則化に基づく継続的学習技術（偽ラベル付け、固定、distillation）は、マルチモーダルで順次的なキャプション設定においてどのように機能するか？
• RQ3 順次的クラス追加における性能低下の原因は何か？ また、これを緩和できるか？
• RQ4 エンコーダーを固定するか、デコーダーを固定するかのどちらが、継続的画像キャプションにおいてより優れた性能保持をもたらすか？
• RQ5 一般化性能および古いタスクの忘却の観点から、ContCap は標準的な微調整と比較してどのように異なるか？

主な発見

• 深刻な忘却は画像キャプションの性能を著しく低下させる：新しいクラス（例：'person'）で微調整した後、'dog' の画像を 'a little boy is standing in the grass with a frisbee' と誤って記述する。
• 5つのクラスを順次追加した場合、古いタスクでの CIDEr スコアはベースラインの 47.1 から、特徴の distillation を用いた場合 4.8、微調整を用いた場合 4.5 にまで低下し、極端な忘却が生じていることが示された。
• 順次的追加において、偽ラベル付けが最も優れた性能（古いタスクでの CIDEr スコア 15.1）を達成しており、微調整や特徴の distillation よりも優れている。これは、蓄積されたノイズに対して強いという示唆である。
• 順次的設定において、エンコーダーを固定すると 15.6 CIDEr、デコーダーを固定すると 10.0 CIDEr となり、エンコーダー固定の方が優れた性能保持を示した。これは、エンコーダーが長期的知識保持においてより重要な役割を果たしていることを示唆している。
• 複数のクラスを同時に追加すると、一般化性能が向上し、より高い性能（例：偽ラベル付けを用いた場合、BLEU1 53.4、CIDEr 15.1）が得られる。一方、順次的追加では『段階的深刻な忘却』に苦しむ。
• 本フレームワークは、クラスインクリメンタル設定においてスケーラブルで効果的である。古いタスクの性能を強く維持しながら、新しいタスクでも高い性能を達成しており、特に偽ラベル付けとエンコーダー固定を組み合わせた場合に顕著である。