[論文レビュー] Incremental Few-Shot Learning for Pedestrian Attribute Recognition

Liuyu Xiang, Xiaoming Jin+3 more|arXiv (Cornell University)|Jun 2, 2019

Video Surveillance and Tracking Methods参考文献 16被引用数 5

ひとこと要約

本論文は、最小限のデータで新しい属性に迅速に適応可能でありながら、ベース属性のパフォーマンスを維持する、インクリメンタル少数ショット歩行者属性認識のためのメタラーニングフレームワークを提案する。属性プロトタイプ生成モジュール（APGM）と属性関係モジュール（ARM）を導入することで、低メモリかつ低推論コストで最先端のパフォーマンスを達成し、ファインチューニングや既存のメタラーニングベースラインを上回る性能を発揮する。

ABSTRACT

Pedestrian attribute recognition has received increasing attention due to its important role in video surveillance applications. However, most existing methods are designed for a fixed set of attributes. They are unable to handle the incremental few-shot learning scenario, i.e. adapting a well-trained model to newly added attributes with scarce data, which commonly exists in the real world. In this work, we present a meta learning based method to address this issue. The core of our framework is a meta architecture capable of disentangling multiple attribute information and generalizing rapidly to new coming attributes. By conducting extensive experiments on the benchmark dataset PETA and RAP under the incremental few-shot setting, we show that our method is able to perform the task with competitive performances and low resource requirements.

研究の動機と目的

• 新しい属性が限られた訓練データで追加されるインクリメンタル少数ショット学習の実用的課題に対処すること。
• 過去の訓練データにアクセスできない状況下で、ファインチューニングによる深刻な忘却や再訓練に伴う高コストを回避し、効率的なモデル拡張を可能にすること。
• 事前に学習されたベース属性の精度を保持しつつ、新規属性に迅速に一般化できるメタラーニングフレームワークを開発すること。
• 属性の共起性を活用し、プロトタイプベース分類を用いることで、低リソースでマルチラベル少数ショット属性認識のパフォーマンスを向上させること。
• PETAおよびRAPのベンチマークデータセット上で、現実的なインクリメンタル少数ショット設定下で本手法の有効性を示すこと。

提案手法

• 特徴埋め込みから判別的な属性プロトタイプを抽出できる属性プロトタイプ生成モジュール（APGM）を導入し、1回のフォワードパスで新規属性に迅速に適応可能にする。
• 複数の属性表現を分離し、タスク間で一般化可能なメタアーキテクチャを採用することで、少数の例での新規属性への迅速な適応を可能にする。
• 訓練中に合成された「偽」新規属性をサンプリングすることで、多様な少数ショットシナリオをシミュレートし、一般化性能を向上させるメタトレーニング戦略を適用する。
• 属性共起パターンを用いてベース属性の重みから知識を新規属性へ転送する属性関係モジュール（ARM）を統合し、新規データにベース属性がラベル付けされている場合のパフォーマンスを向上させる。
• SGDを用いてメタネットワークを訓練し、小さな初期学習率（1e-5）、モーメンタム0.9、正則化係数0.0005を設定し、個々のタスクでの過学習を防ぐために早期停止を適用する。
• すべてのサンプリングされた属性がサポートセットに存在することを保証するサポートセットサンプリング戦略を採用し、必要な属性が欠落している場合は再サンプリングする。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングによる深刻な忘却を回避しつつ、わずかなラベル付き例でのみ新しい歩行者属性を認識できるメタラーニングフレームワークは、実用的に効果的か？
• RQ2 本手法は、ファインチューニングおよび既存の少数ショットメタラーニング手法と比較して、精度、推論時間、メモリ使用量の観点でどのように差をつけるか？
• RQ3 ベース属性のラベルが新規データに含まれる場合、ARMモジュールによる属性共起の統合が、新規属性のパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 標準的な少数ショットメタラーニング手法（例：ProtoNet や DFWF）が、マルチラベルかつインクリメンタル少数ショット設定ではなぜ性能を発揮できないのか？
• RQ5 ショット数およびウェイ数が、実世界のデプロイ環境における本手法の一般化性能にどのように影響を与えるか？

主な発見

• 本手法は、PETAおよびRAPの両データセットにおいて、ファインチューニングよりも顕著に高い新規属性平均正答率（mA novel）を達成しており、特にショット数が少ない状況で顕著である。
• 5ウェイ50ショット学習では、学習率0.0001のファインチューニングを上回り、ベースモデルのパフォーマンスを維持しながら、深刻な忘却を回避した。
• ベース属性が新規データに含まれる場合、属性関係モジュール（ARM）により、PETAでmA novelが67.16%から68.05%（+0.89%）に、RAPで71.90%から72.88%（+0.98%）に向上した。
• 本手法は、ファインチューニングベースラインおよびProtoNet や DFWF といった最先端のメタラーニング手法を一貫して上回り、これらがマルチラベルかつインクリメンタル少数ショット学習の制限を抱えるため、性能が劣っている。
• メタトレーニング中に「偽」新規属性の数を増やすことで、mA novelに約1%の向上が得られ、メタ最適化におけるより複雑なタスクサンプリングの利点を裏付けた。
• 本手法は推論コストが低く、1回のフォワードパスでのみ実行可能であり、デバイス内での低リソース応用に適している。