[論文レビュー] On the Exploration of Incremental Learning for Fine-grained Image Retrieval

Wei Chen, Yu Liu+4 more|arXiv (Cornell University)|Oct 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 9

ひとこと要約

本稿では、元のクラスデータにアクセスせずに catastrophic forgetting を緩和する、細分化画像検索のための新しいインクリメンタル学習フレームワークを提案する。元のネットワークのソフトラベルからの知識蒸留と、特徴分布の整合性を図る Maximum Mean Discrepancy（MMD）に基づく正則化を組み合わせることで、古いクラスの性能を維持しつつ、新しいクラスにおいても高い精度を達成する。CUB-Birds および Stanford Cars データセットにおいて、既存手法を上回る性能を発揮する。

ABSTRACT

In this paper, we consider the problem of fine-grained image retrieval in an incremental setting, when new categories are added over time. On the one hand, repeatedly training the representation on the extended dataset is time-consuming. On the other hand, fine-tuning the learned representation only with the new classes leads to catastrophic forgetting. To this end, we propose an incremental learning method to mitigate retrieval performance degradation caused by the forgetting issue. Without accessing any samples of the original classes, the classifier of the original network provides soft "labels" to transfer knowledge to train the adaptive network, so as to preserve the previous capability for classification. More importantly, a regularization function based on Maximum Mean Discrepancy is devised to minimize the discrepancy of new classes features from the original network and the adaptive network, respectively. Extensive experiments on two datasets show that our method effectively mitigates the catastrophic forgetting on the original classes while achieving high performance on the new classes.

研究の動機と目的

• 新しいカテゴリが段階的に追加される状況において、細分化画像検索における catastrophic forgetting を解消すること。
• 元のクラスの訓練サンプルにアクセスできない状況でも、そのクラスの高い検索性能を維持すること。
• 時間的に高コストな一括再訓練を回避するため、新しいクラスへの効率的な適応を可能にするインクリメンタル学習による手法の実現。
• 細分化認識に特徴的な微細な視覚的変化に対して頑健な手法の開発。
• 検索精度と忘却の緩和の両面で、既存のインクリメンタル学習手法を上回ること。

提案手法

• 元のネットワークの分類器から得られるソフトラベルを用いた知識蒸留により、適応ネットワークへの知識移行を実現する。
• 元のネットワークと適応ネットワークの特徴の分布差を最小化するため、Maximum Mean Discrepancy（MMD）正則化を導入する。
• 特徴空間における細分化識別性能を向上させるために、クロスエントロピー損失とトリプレット損失を併用する。
• 適応ネットワークの学習は、元のクラスデータにアクセスせずに、新規クラスのデータのみを用いて実施する。
• catastrophic forgettingの防止と新規クラスへの適応の両立を図るため、蒸留損失とMMD損失を統合的な最適化目的関数に統合する。
• 学習済みの表現を保持するため、適応ネットワークを元のモデルの凍結重みで初期化する。

実験結果

リサーチクエスチョン

• RQ1 元のデータにアクセスせずに、細分化画像検索にインクリメンタル学習を効果的に適用できるか。
• RQ2 特徴の識別性能が重要な検索タスクにおいて、catastrophic forgettingをどのように緩和できるか。
• RQ3 MMDに基づく特徴分布正則化は、古いクラスおよび新しいクラスの両方の性能にどの程度向上効果をもたらすか。
• RQ4 検索タスク固有の設定において、蒸留損失とMMD損失は、LwF や EWC といった標準的手法よりも優れているか。
• RQ5 性能のトレードオフを最適化するためのハイパーパrameter設定は何か。

主な発見

• 100個の新規クラスを追加した場合、元のクラスでは74.41%のRecall@1、新規クラスでは73.11%のRecall@1を達成し、一括学習の77.33%に近い性能を発揮。
• MMD正則化を導入したことで、元のクラスの性能が73.36%のRecall@1まで向上し、ベースラインの微調整手法比で19.4%の相対的向上を達成。
• アブレーションスタディの結果、蒸留損失とMMD損失を併用した手法が最も優れた性能を示し、片方の損失のみを用いた手法を上回った。
• ハイパーパramータ感度分析から、MMD重み（β）が蒸留重み（α）よりも性能のトレードオフに強い影響を及ぼすことが判明。
• 一括再訓練と比較して、学習時間を約50%短縮しながらも、高い検索精度を維持した。
• Stanford Cars データセットでも、LwF や EWC に比べて優れた性能を発揮し、特に元のクラスの性能維持において顕著な優位性を示した。