[論文レビュー] Symbolic Replay: Scene Graph as Prompt for Continual Learning on VQA Task

Stan Weixian Lei, Difei Gao+5 more|arXiv (Cornell University)|Aug 24, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、シーンおよび機能の増分設定をサポートする継続的学習のための新しいベンチマークCLOVEを提案する。また、実画像を用いないで知識を再現可能にするシンボリックなリプレイ手法であるシーングラフをプロンプトとする(SGP)を導入し、多モodalなVQAモデルにおける推論メカニズムの保持と深刻な忘却の防止を実現する。

ABSTRACT

VQA is an ambitious task aiming to answer any image-related question. However, in reality, it is hard to build such a system once for all since the needs of users are continuously updated, and the system has to implement new functions. Thus, Continual Learning (CL) ability is a must in developing advanced VQA systems. Recently, a pioneer work split a VQA dataset into disjoint answer sets to study this topic. However, CL on VQA involves not only the expansion of label sets (new Answer sets). It is crucial to study how to answer questions when deploying VQA systems to new environments (new Visual scenes) and how to answer questions requiring new functions (new Question types). Thus, we propose CLOVE, a benchmark for Continual Learning On Visual quEstion answering, which contains scene- and function-incremental settings for the two aforementioned CL scenarios. In terms of methodology, the main difference between CL on VQA and classification is that the former additionally involves expanding and preventing forgetting of reasoning mechanisms, while the latter focusing on class representation. Thus, we propose a real-data-free replay-based method tailored for CL on VQA, named Scene Graph as Prompt for Symbolic Replay. Using a piece of scene graph as a prompt, it replays pseudo scene graphs to represent the past images, along with correlated QA pairs. A unified VQA model is also proposed to utilize the current and replayed data to enhance its QA ability. Finally, experimental results reveal challenges in CLOVE and demonstrate the effectiveness of our method. The dataset and code will be available at https://github.com/showlab/CLVQA.

研究の動機と目的

• シーンおよび機能の増分設定を両方サポートする継続的学習のためのVQAベンチマークが不足しているという問題に対処する。
• 新しい視覚的シーンや推論機能を学習する際、VQAモデルにおける深刻な忘却の課題を克服する。
• 画像生成に依存せずに、推論能力を保持することができる、本物のデータを必要としないリプレイ機構を開発する。
• リアルワールドの展開シナリオを模倣するために、時間の経過とともに新しい環境や新しい質問タイプにモデルが適応できるようにする。

提案手法

• 継続的VQAのための2つの設定（シーン増分：6シーン、機能増分：6機能）を持つ新しいベンチマークCLOVEを提案する。
• 過去の知識を表すために、シーングラフをプロンプトとして使用するシンボリックリプレイ機構を設計し、実画像リプレイの代わりに使用する。
• シーングラフとQAペアの間のタスク固有のマッピングを学習するため、言語モデルに基づくシンボリックリプレイモデル(SRM)を開発する。
• 現在の入力および再現されたシーングラフ–QA入力を処理できる統合型VQAモデル（UniVQA）を用い、継続的学習を強化する。
• ランダムに抽出されたシーングラフの関係が、過去の知識の再現をトリガーするプロンプトベースの推論を実装する。
• 低品質な画像生成に起因する仮想リプレイ手法の制限を回避するため、構造的・シンボリックな表現を活用する。

実験結果

リサーチクエスチョン

• RQ1 現実的なシーン増分および機能増分設定下で、継続的学習のVQAがどのように効果的に評価できるか？
• RQ2 シーングラフを用いたシンボリックリプレイは、従来の画像ベースのリプレイを上回り、継続的VQA学習中の忘却を効果的に防止できるか？
• RQ3 統合型VQAモデルが、シンボリックプロンプトを用いて、新しい視覚的シーンおよび新しい推論機能の両方に対してどの程度一般化できるか？
• RQ4 視覚的環境と機能的能力を同時に拡張する継続的VQAにおいて、主な課題は何か？
• RQ5 提案されたSGP手法は、多モーダルかつ多タスクなVQAにおいて、推論メカニズムを保持すると同時に深刻な忘却を回避できるか？

主な発見

• CLOVEベンチマークは、特にシーンおよび機能の増分の両方において性能を維持するという継続的VQAにおける顕著な課題を明らかにした。
• 提案されたSGP手法は、CLOVE-sceneおよびCLOVE-functionの両設定において、ベースラインのリプレイおよび正則化手法を上回る優れた性能を達成した。
• シーングラフを用いたシンボリックリプレイは、本物の画像データがなくても、推論メカニズムを効果的に保持し、深刻な忘却を低減した。
• 統合型VQAモデル（UniVQA）は、現在の知識と再現された知識を効果的に統合し、多様な視覚的および機能的タスクにわたる頑健な一般化能力を示した。
• CLOVEにおける回答分布は顕著なクラス不均衡を示しており、オープンエンドのVQAタスクにおける継続的学習の難易度を強調している。
• 定性的な分析により、SGPがシーングラフから妥当で多様なQAペアを生成でき、効果的な知識再現を支援することが確認された。