[論文レビュー] Bookworm continual learning: beyond zero-shot learning and continual learning

Kai Wang, Luis Herranz+2 more|arXiv (Cornell University)|Jun 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 4

ひとこと要約

本稿では、固定された意味的モデルを用いて継続的視覚モデルの更新を可能にする統合的フレームワークであるBookworm継続的学習（BCL）を紹介する。本研究では、条件付きVAEを用いて過去および未来のクラスの特徴を生成する双方向的想起（BImag）フレームワークを提案し、過去と未来の両方のクラス特徴を生成することで、忘却の軽減とベースラインより優れた性能を達成した。CUBおよびAwAデータセット上での実験で、クラスと属性の併用条件付き生成と非対称的生成が、継続的学習における性能向上に寄与することが示された。

ABSTRACT

We propose bookworm continual learning(BCL), a flexible setting where unseen classes can be inferred via a semantic model, and the visual model can be updated continually. Thus BCL generalizes both continual learning (CL) and zero-shot learning (ZSL). We also propose the bidirectional imagination (BImag) framework to address BCL where features of both past and future classes are generated. We observe that conditioning the feature generator on attributes can actually harm the continual learning ability, and propose two variants (joint class-attribute conditioning and asymmetric generation) to alleviate this problem.

研究の動機と目的

• すべてのクラスが事前に分かっていると仮定する静的視覚認識モデルの限界を解決すること。
• 新しい概念に適応できないこと。
• 継続的学習（CL）とゼロショット学習（ZSL）を統合し、意味的事前知識を用いて時間経過とともに新しいクラスを学習するより現実的で動的な設定を実現すること。
• 意味的モデルが継続的学習に与える影響、特に属性ベースの条件付き生成が継続的学習性能に良い影響を与えるか、悪影響を与えるかを調査すること。
• 記憶量と計算コストに配慮したフレームワークを構築し、過去および未来のクラス特徴を同時に学習可能にする継続的視覚認識を実現すること。

提案手法

• 固定された意味的モデルを用いて、未学習クラスの認識を可能にする、一般化された継続的学習設定であるBookworm継続的学習（BCL）を提案する。
• クラスと属性情報を用いて、過去および未来のクラスの視覚的特徴を生成するための条件付きVAEを用いた双方向的想起（BImag）フレームワークを導入する。
• 知識蒸留とリプレイアライメントを用いて、過去のタスクからの知識を保持し、深刻な忘却を緩和する。
• 属性条件付き生成が継続的学習性能に与える悪影響を軽減するため、2つの変種を提案する：クラスと属性の併用条件付き生成と非対称的生成。
• 継続的学習シーケンス全体の各時刻での性能を評価するため、平均AUTAC（タスク精度曲線下の面積）という新しい評価指標を提案する。
• 視覚的特徴抽出、特徴生成、分類の3つを統合的に最適化するフレームワークを用いて、モデルを訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 統合的フレームワークは、継続的学習とゼロショット学習を効果的に統合し、時間経過とともに既知および未知のクラスを認識可能にするか？
• RQ2 特徴生成器を属性で条件づけることは、継続的学習性能を向上させるか、悪影響を与えるか？その理由は何か？
• RQ3 過去（バックワード）と未来（フォワード）の特徴生成をどのようにバランスさせるべきか？これにより、忘却の軽減と一般化性能の向上が達成できるか？
• RQ4 クラスと属性の併用条件付き生成、または非対称的生成によって、属性ベースの意味的モデルが継続的学習に与える悪影響を軽減できるか？

主な発見

• 属性で条件づけるattr-BImagの変種は、継続的学習において、クラスベースの基準（class-BImag）よりも性能が劣ることを示し、属性条件付き生成が忘却の軽減に悪影響を与える可能性があることを示している。
• クラスと属性の両方で条件づけるclass-attr-BImagの変種は、attr-BImagよりも顕著に性能が向上し、CUB 150/50では0.600の平均AUTAC、AwA 40/10では0.750の平均AUTACを達成した。
• 非対称的生成の変種（asym-BImag）は、CUB 150/50で0.588の平均AUTACを達成し、この設定ではattr-BImagおよびclass-attr-BImagを上回る最高の性能を示した。
• AwA 40/10では、class-attr-BImagが0.750の平均AUTACを達成し、タスク全体にわたる一般化性能が優れていた。
• BImagフレームワークは、GZSL設定（t=1）においても競争力のある結果を示し、AwA 40/10では0.578の平均AUTACを達成し、f-VAEGAN-D2に次いで2番目に高い性能を示した。
• 提案されたBCLフレームワークは、意味的事前知識の統合により初期段階で標準的なCL（class-BImag）を上回り、継続的モデル更新のおかげでGZSLの性能をも上回った。