[論文レビュー] Continual Representation Learning for Biometric Identification

Bo Zhao, Shixiang Tang+3 more|arXiv (Cornell University)|Jun 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 74被引用数 6

ひとこと要約

本論文は、顔認識と人物再識別の2つの大規模ベンチマークで、最先端の性能を達成し、一般化性能と効率性を向上させた、顔認識と人物再識別を対象とした、新しい継続的表現学習（CRL）設定を導入する。本設定は、過去のクラスを記憶することよりも、未観測のアイデンティティへの一般化を重視する。スケーラブルな知識蒸留法を提案し、近隣選択と一貫性緩和を用いる。

ABSTRACT

With the explosion of digital data in recent years, continuously learning new tasks from a stream of data without forgetting previously acquired knowledge has become increasingly important. In this paper, we propose a new continual learning (CL) setting, namely ``continual representation learning'', which focuses on learning better representation in a continuous way. We also provide two large-scale multi-step benchmarks for biometric identification, where the visual appearance of different classes are highly relevant. In contrast to requiring the model to recognize more learned classes, we aim to learn feature representation that can be better generalized to not only previously unseen images but also unseen classes/identities. For the new setting, we propose a novel approach that performs the knowledge distillation over a large number of identities by applying the neighbourhood selection and consistency relaxation strategies to improve scalability and flexibility of the continual learning model. We demonstrate that existing CL methods can improve the representation in the new setting, and our method achieves better results than the competitors.

研究の動機と目的

• ストリーミングデータからの学習において、未観測のアイデンティティへの一般化を重視する、実世界のバイオメトリクスシステムにおける継続的学習の課題に対処すること。
• 過去のクラスを記憶することよりも、未学習クラスへの一般化を重視する、新しい継続的学習設定「継続的表現学習（CRL）」を提案すること。
• 数千から数百万のアイデンティティを含む大規模バイオメトリクスデータセットに適した、スケーラブルで柔軟な知識蒸留技術を開発すること。
• 今後の継続的表現学習分野の研究を支援するため、顔認識と人物再識別を対象とした、大規模で複数段階にわたるベンチマーク2つを構築すること。

提案手法

• モデルがストリーミングデータから学習し、過去のクラスを記憶するのではなく、未観測のアイデンティティへの一般化を向上させる、新しい継続的表現学習（CRL）設定を提案する。
• 特徴量の類似度に基づいて、知識蒸留に必要な過去のクラスのみを選択することで、計算コストを削減する近隣選択（NS）を導入する。
• 過去モデルと新規モデルの出力の一貫性を厳密に保つ必要をなくし、柔軟な蒸留を可能にするために、一貫性緩和（CR）を適用する。
• マージンに基づく正則化を組み込んだコントラスト学習ベースの損失関数を用い、ステップ間での特徴量の識別性と一般化性能を向上させる。
• 共有の特徴エンコーダとタスク固有の分類器を備えたデュアルヘッドネットワークを採用し、効率的なオンライン適応を実現する。
• 訓練とテストのアイデンティティが不重複である大規模なベンチマークを活用し、未観測クラスに対する一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 バイオメトリクス識別において、見たことのないクラスの一般化を重視する継続的学習を、どのように再定義できるか？
• RQ2 数千のアイデンティティを含む大規模バイオメトリクスデータセットに知識蒸留を適用する際の、主なスケーラビリティと効率性の課題は何か？
• RQ3 近隣選択と一貫性緩和は、継続的表現学習の性能と柔軟性をどのように向上させるか？
• RQ4 既存の継続的学習手法は、バイオメトリクスタスクにおいて未観測アイデンティティにどの程度一般化できるか？本手法はそれらをどのように上回るか？

主な発見

• 近隣選択と一貫性緩和を併用した本手法は、5段階の継続的人物再識別ベンチマークで、Top-1正答率61.1%、mAP49.5%を達成し、すべてのアブレーションバリアントおよび競合手法を上回った。
• 近隣選択（NS）単体でも、Top-1正答率を59.1%から59.8%に向上させ、蒸留コストの削減が可能でありながら精度を損なわないことを示した。
• 一貫性緩和（CR）を追加することで、NSと組み合わせた場合、Top-1正答率が59.8%から61.1%に、mAPが47.8%から49.5%に上昇した。
• ハイパーパrameterの変更に対しても本手法は頑健である：最適な近隣数Kは全過去クラスの約10%（K=200）であり、マージンβ=10⁻²が最良の結果をもたらした。
• LWF、iCaRL、End2Endなどの既存手法と比較して、本手法ははるかにスケーラブルである。全過去クラスに対する完全な蒸留を回避することで、メモリと計算コストを桁違いに削減した。
• アブレーションスタディにより、NSおよびCRモジュールが独立してかつ相乗的に性能向上に寄与しており、特にCRが一般化性能向上に最大の寄与を示した。