[論文レビュー] Continual Multimodal Knowledge Graph Construction

Xiang Chen, Jintian Zhang+6 more|arXiv (Cornell University)|May 15, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、最初の継続的マルチモーダル知識グラフ構築（LMKGC）ベンチマークを導入し、継続的マルチモーダル学習における深刻な忘却問題に対処するための『Lifelong MultiModal Consistent Transformer（LMC）』フレームワークを提案する。LMCは、バランスの取れたマルチモーダル学習リズムを強制し、アテンション distillation を用いて知識の保持を安定化させ、動的でストリーミングなマルチモーダルデータにおいて、安定性と柔軟性の両面で最先端の手法を上回る性能を発揮する。

ABSTRACT

Current Multimodal Knowledge Graph Construction (MKGC) models struggle with the real-world dynamism of continuously emerging entities and relations, often succumbing to catastrophic forgetting-loss of previously acquired knowledge. This study introduces benchmarks aimed at fostering the development of the continual MKGC domain. We further introduce MSPT framework, designed to surmount the shortcomings of existing MKGC approaches during multimedia data processing. MSPT harmonizes the retention of learned knowledge (stability) and the integration of new data (plasticity), outperforming current continual learning and multimodal methods. Our results confirm MSPT's superior performance in evolving knowledge environments, showcasing its capacity to navigate balance between stability and plasticity.

研究の動機と目的

• 動的で現実世界的な設定（進化するエンティティタイプや関係を伴う）において、継続的学習のためのマルチモーダル知識グラフ構築（MKGC）ベンチマークが不足しているという問題に対処する。
• 静的設定では優位性を示すにもかかわらず、継続的学習においてはマルチモーダルKGCモデルがユニモーダルベースラインに劣る理由を解明する。
• 継続的MKGCにおいて、過去の知識の保持（安定性）と新しいエンティティ／関係の学習（柔軟性）を効果的にバランスさせる新しいフレームワークを開発する。
• 継続的学習中にテキストとビジョンのモダリティの間で発生するモダリティの不均衡と収束速度の違いを克服する。
• 再現可能な評価と今後の研究を可能にするため、生涯的マルチモーダル知識グラフ構築のための標準化されたベンチマークを確立する。

提案手法

• 現実的なストリーミングデータ条件の下で継続的MKGCを評価できる、新しい生涯的マルチモーダル名前付きエンティティ認識および関係抽出（MNRE）ベンチマークを提案する。
• テキストとビジョンモダリティの更新を同期させるバランスの取れたマルチモーダル学習リズムを備えたLMCフレームワークを設計し、一方のモダリティが学習ダイナミクスを支配するのを防ぐ。
• 過去のタスクからの知識を保持するために、古いモデルの表現を現在のモデルに転送する、モダリティ固有のアテンション distillation を導入する。
• 収束進捗に基づいて各モダリティの寄与度を動的に調整するスムーズなモodulation機構を実装し、テキストとビジョンのストリーム間の不均衡を低減する。
• 完全なデータ保存を必要としない、プロトタイプベースのサンプリングを用いたメモリ効率の良いリハーよう戦略を実装する。
• 事前学習済みのテキストおよびビジョンエンコーダー（例：BERTとViT）をバックボーンとして用い、モダリティに適応したアテンションとdistillationヘッドを用いた共同最適化を実施する。

実験結果

リサーチクエスチョン

• RQ1 静的設定では優位性を示すにもかかわらず、なぜ現在のマルチモーダルKGCモデルは継続的学習においてユニモーダルモデルに劣るのか？
• RQ2 継続的知識グラフ構築における深刻な忘却を防ぐために、テキストとビジョンモダリティ間でマルチモーダル学習を効果的に同期させる方法は何か？
• RQ3 継続的MKGCの過程で性能劣化を引き起こすモダリティの不均衡が果たす役割は何か？ そして、その不均衡はどのように緩和できるか？
• RQ4 統一されたフレームワークが、新しいエンティティ／関係の学習（高い柔軟性）と過去の知識の保持（高い安定性）の両方を達成できるか？
• RQ5 限られたメモリ容量のもとで、継続的MKGCモデルの性能はタスク数の増加に伴いどのように変化するのか？

主な発見

• LMCフレームワークは、生涯的MNREベンチマークにおいて、ユニモーダルモデル（Vanilla）、マルチモーダルモデル（UMGF、MKGformer）、継続的学習ベースライン（EWC、RP-CRE）を含むベースライン手法すべてにおいて、評価指標の面で顕著に優れている。
• 10タスクの生涯的MNREベンチマークにおいて、LMCは平均F1スコア87.3を達成し、2番目に優れた手法（RP-CRE）を4.1ポイント上回り、優れた安定性と柔軟性を示している。
• 限られたメモリ（例：1タスクあたり100サンプル）の条件下でも、LMCは強固な性能を維持しており、低メモリ条件でもRP-CREに6.8ポイントの優位性を示し、その効率性を裏付けている。
• アブレーションスタディの結果、モダリティの不均衡が性能を著しく劣化させることを確認。提案されたスムーズなモodulation機構により、不均衡が軽減され、F1スコアが最大5.2ポイント向上した。
• 感度分析の結果、LMCは5、7、10タスクの各条件下でも一貫した優位性を示しており、タスク複雑度の増加に対しても頑健であることが証明された。
• 完全メモリを用いた共同学習は、柔軟性の面でユニモーダルモデルを上回れないことが判明。これは、マルチモーダルリハーサル戦略が新しい関係の学習を妨げることがあることを示しており、より知的な継続的学習メカニズムの必要性を強調している。