[論文レビュー] Online Lifelong Generalized Zero-Shot Learning

Chandan Gautam, Sethupathy Parameswaran+2 more|arXiv (Cornell University)|Mar 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 4

ひとこと要約

本論文は、タスク境界情報が与えられないストリーミングデータから学習できる、最初のタスクフリー継続的一般化ゼロショット学習（CZSL）フレームワークを提案する。変分オートエンコーダー、経験リプレイ、ダークナレッジを用いた知識蒸留、および短期記憶を組み合わせることで、最小限の深刻な忘却を伴いながら5つのベンチマークデータセットで最先端の性能を達成し、従来手法よりも最大9%高い調和平均精度を実現した。

ABSTRACT

Methods proposed in the literature for zero-shot learning (ZSL) are typically suitable for offline learning and cannot continually learn from sequential streaming data. The sequential data comes in the form of tasks during training. Recently, a few attempts have been made to handle this issue and develop continual ZSL (CZSL) methods. However, these CZSL methods require clear task-boundary information between the tasks during training, which is not practically possible. This paper proposes a task-free (i.e., task-agnostic) CZSL method, which does not require any task information during continual learning. The proposed task-free CZSL method employs a variational autoencoder (VAE) for performing ZSL. To develop the CZSL method, we combine the concept of experience replay with knowledge distillation and regularization. Here, knowledge distillation is performed using the training sample's dark knowledge, which essentially helps overcome the catastrophic forgetting issue. Further, it is enabled for task-free learning using short-term memory. Finally, a classifier is trained on the synthetic features generated at the latent space of the VAE. Moreover, the experiments are conducted in a challenging and practical ZSL setup, i.e., generalized ZSL (GZSL). These experiments are conducted for two kinds of single-head continual learning settings: (i) mild setting-: task-boundary is known only during training but not during testing; (ii) strict setting-: task-boundary is not known at training, as well as testing. Experimental results on five benchmark datasets exhibit the validity of the approach for CZSL.

研究の動機と目的

• 従来のゼロショット学習（ZSL）および継続的学習の限界、すなわち順序付きデータの処理や深刻な忘却の防止ができない点を是正する。
• 学習時および推論時においてタスク境界情報が不要な継続的ZSLフレームワークを構築する—すなわち、真のタスクフリー設定を実現する。
• データが順次到着し、タスクの識別子が不明な実世界の実用的状況において、生涯学習を可能にする。
• 既存のベンチマークがタスク境界を仮定しているのに対し、タスクフリーCZSLに適した新しい評価プロトコルを提案する。
• 一般化ZSL設定において、学習済みクラスと未学習クラスの両方で高い性能を維持しながら、深刻な忘却を最小限に抑える。

提案手法

• 変分オートエンコーダー（VAE）を用いて、意味的クラス記述子から合成的な視覚特徴を生成し、潜在空間におけるゼロショット分類を可能にする。
• 記憶バッファ（M）を用いた経験リプレイを採用し、過去のデータサンプルを保存することで、現在のデータと同時に学習させ、忘却を緩和する。
• トレーニングサンプルからの「ダークナレッジ」を用いた知識蒸留を適用し、学生・教師ネットワークを用いない形でモデル容量を転送し、一般化性能を向上させる。
• 最近のサンプルを格納する短期記憶（M_st）を導入し、時間的文脈を維持することで、効果的なタスクフリー学習を実現する。
• VAEが生成する潜在特徴に基づいて分類器を学習させ、リプレイおよび蒸留による正則化を施して学習の安定性を高める。
• 固定メモリ（M_b）を用いる戦略と、動的短期記憶（M_st）を用いる戦略の2通りの訓練戦略をサポートし、後者が優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 学習時および推論時にタスク境界情報が不要な継続的ゼロショット学習フレームワークを開発できるか？
• RQ2 タスクアノテーションが存在しない継続的一般化ゼロショット学習環境において、深刻な忘却を効果的に緩和できるか？
• RQ3 経験リプレイとダークナレッジを用いた知識蒸留は、タスクフリーCZSL設定における性能にどのような影響を与えるか？
• RQ4 メモリサイズおよび潜在次元数は、提案されたタスクフリーCZSLフレームワークにおけるモデル性能にどのように影響するか？
• RQ5 提案手法は、厳密な継続的学習条件下で、一般化ゼロショット学習の上限性能にどの程度近づけるか？

主な発見

• 短期記憶（M_st）を用いた提案手法Tf-GCZSLは、CUB、aPY、AWA1、AWA2、SUNデータセットにおいて、ベースライン手法（M_b）と比較して調和平均精度が5%以上向上した。
• Tf-GCZSLは、CUBでは上限性能の8.55%以内、aPYでは9.28%以内、AWA1では4.38%以内、AWA2では1.49%以内、SUNでは8.14%以内の性能を達成し、理論的限界に非常に近い強力な性能を示した。
• ダークナレッジを用いた知識蒸留は、特に短期記憶と組み合わせた場合に性能を顕著に向上させ、より良い一般化性能と忘却の低減を実現した。
• メモリサイズが増加し、最適な潜在次元数が達成されると性能が向上する—あまりに小さすぎたり、大きすぎると特徴品質とモデル性能が劣化する。
• アブレーションスタディにより、CUBデータセットにおいて、提案手法はすべてのハイパーパramータ設定で逐次ベースラインを一貫して上回ることが確認された。
• リプレイされたサンプルとの共同学習によりモデルが正則化されるため、本手法は深刻な忘却に対して頑健であり、最近のデータに過剰に適合することを防ぐ。