[논문 리뷰] Incremental Few-Shot Learning for Pedestrian Attribute Recognition

Liuyu Xiang, Xiaoming Jin외 3명|arXiv (Cornell University)|2019. 06. 02.

Video Surveillance and Tracking Methods참고 문헌 16인용 수 5

한 줄 요약

이 논문은 소수의 데이터로 새로운 속성을 신속하게 적응하면서 기본 속성에 대한 성능을 유지할 수 있도록 하는 증분 소수 샘플 pedestrian 속성 인식을 위한 메타학습 프레임워크를 제안한다. 속성 프로토타입 생성 모듈(APGM)과 속성 관계 모듈(ARM)을 도입함으로써, 낮은 메모리 및 추론 비용으로도 최신 기술 성능을 달성하며, 미세조정 및 기존 메타학습 베이스라인보다 소수 샘플 설정에서 뛰어난 성능을 보인다.

ABSTRACT

Pedestrian attribute recognition has received increasing attention due to its important role in video surveillance applications. However, most existing methods are designed for a fixed set of attributes. They are unable to handle the incremental few-shot learning scenario, i.e. adapting a well-trained model to newly added attributes with scarce data, which commonly exists in the real world. In this work, we present a meta learning based method to address this issue. The core of our framework is a meta architecture capable of disentangling multiple attribute information and generalizing rapidly to new coming attributes. By conducting extensive experiments on the benchmark dataset PETA and RAP under the incremental few-shot setting, we show that our method is able to perform the task with competitive performances and low resource requirements.

연구 동기 및 목표

• 소수의 학습 데이터로 새로운 속성이 추가되는 실용적인 증분 소수 샘플 학습 과제를 해결한다.
• 이전 학습 데이터에 접근할 수 없는 상황에서 기존 모델을 효율적으로 확장함으로써, 미세조정의 치명적인 잊음과 재학습의 높은 계산 비용 문제를 해결한다.
• 기존에 학습된 기본 속성에 대한 정확도를 유지하면서도 새로운 속성에 대해 신속하게 일반화할 수 있는 메타학습 프레임워크를 개발한다.
• 속성 동시 발생 패턴과 프로토타입 기반 분류를 활용하여, 자원이 제한된 다중 레이블 소수 샘플 속성 인식 성능을 향상시킨다.
• 실제 증분 소수 샘플 설정에서 PETA 및 RAP 기준 데이터셋에 대한 본 방법의 효과성을 입증한다.

제안 방법

• 특징 임bedding에서 구분 가능한 속성 프로토타입을 추출할 수 있도록 학습하는 속성 프로토타입 생성 모듈(APGM)을 도입하여, 단일 순방향 전파를 통해 새로운 속성에 빠르게 적응할 수 있도록 한다.
• 다중 속성 표현을 분리하고 작업 간 일반화를 가능하게 하는 메타아키텍처를 사용하여, 소수의 예시로도 새로운 속성에 신속하게 적응할 수 있도록 한다.
• 다양한 소수 샘플 시나리오를 시뮬레이션하고 일반화 능력을 향상시키기 위해 학습 중에 합성된 '가짜' 새로운 속성을 샘플링하는 메타학습 전략을 적용한다.
• 기본 속성 가중치에서 새로운 속성으로 지식을 전이하기 위해 공존 패턴을 사용하는 속성 관계 모듈(ARM)을 통합하여, 새로운 데이터셋에 기본 속성이 포함되어 있을 경우 성능을 향상시킨다.
• 개별 작업에서 과적합을 방지하기 위해 조기 정지 기법을 사용하며, SGD를 사용하여 메타 네트워크를 학습하고, 학습률 1e-5, 모멘텀 0.9, 가중치 감쇠 0.0005를 설정한다.
• 모든 샘플된 속성이 지원 세트에 존재하도록 보장하는 지원 세트 샘플링 전략을 사용하며, 필요한 속성이 누락된 경우 재샘플링한다.

실험 결과

연구 질문

• RQ1 기존에 학습된 모델을 새로운 보행자 속성을 인식하도록 확장할 수 있는 메타학습 프레임워크는 소수의 레이블 예시만으로도 치명적인 잊음 없이 효과적으로 작동할 수 있는가?
• RQ2 본 방법은 미세조정 및 기존의 소수 샘플 메타학습 방법과 비교해 정확도, 추론 시간, 메모리 사용량 측면에서 어떻게 성능을 냈는가?
• RQ3 기본 속성 레이블이 새로운 데이터에 포함되어 있을 경우, ARM 모듈을 통한 속성 공존 패턴 통합이 새로운 속성에 대한 성능 향상에 얼마나 기여하는가?
• RQ4 표준 소수 샘플 메타학습 방법인 ProtoNet과 DFWF는 왜 다중 레이블, 증분 소수 샘플 설정에서 성능이 열등한가?
• RQ5 샷 수와 웨이 수가 실제 환경 구현 시 본 방법의 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• 본 방법은 PETA 및 RAP 데이터셋 전반에서 미세조정보다 높은 평균 정확도(mA novel)를 달성하며, 특히 저샷 환경에서 두드러진 성능 향상을 보였다.
• 5-way 50-shot 학습에서, 학습률 0.0001로 설정한 미세조정보다 성능이 뛰어나며, 기본 모델 성능을 유지하면서 치명적인 잊음을 방지했다.
• 기본 속성이 새로운 데이터에 포함되어 있을 경우, ARM 모듈이 PETA에서 mA novel을 67.16%에서 68.05%로 0.89% 향상시키고, RAP에서는 71.90%에서 72.88%로 0.98% 향상시켰다.
• 본 방법은 미세조정 기반 베이스라인 및 ProtoNet, DFWF와 같은 최신 기술 메타학습 방법보다 일관되게 뛰어난 성능을 보였으며, 이는 다중 레이블, 증분 소수 샘플 학습을 다루는 데서의 한계로 인해 기존 방법들이 성능이 열등하기 때문이다.
• 메타학습 중에 더 많은 수의 가짜 새로운 속성을 사용할 경우 mA novel이 약 1% 향상되었으며, 이는 메타최적화 과정에서 더 복잡한 작업 샘플링의 이점이 있음을 확인한다.
• 본 방법은 낮은 추론 비용을 보이며, 단일 순방향 전파만으로도 가능하므로, 장치 내에서 작동하는 저자원 응용 프로그램에 적합하다.