[논문 리뷰] Improving Pedestrian Attribute Recognition With Weakly-Supervised Multi-Scale Attribute-Specific Localization

Chufeng Tang, Lu Sheng외 2명|arXiv (Cornell University)|2019. 10. 10.

Video Surveillance and Tracking Methods참고 문헌 41인용 수 14

한 줄 요약

이 논문은 다중 특징 스케일에서 속성에 특화된 영역을 자동으로 탐지하고 국소화하기 위해 새로운 속성 국소화 모듈(Attriute Localization Module, ALM)을 사용하는 약한 지도 학습, 엔드 투 엔드 프레임워크를 제안한다. 채널 주의(sub-network)와 공간 변환기(Transformer)를 통합하여 적응형 국소화를 구현하고, 딥 서포비전을 적용한 특징 피라미드를 활용함으로써, 최소한의 파rameter와 계산 비용으로 PETA, RAP, PA-100K에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Pedestrian attribute recognition has been an emerging research topic in the area of video surveillance. To predict the existence of a particular attribute, it is demanded to localize the regions related to the attribute. However, in this task, the region annotations are not available. How to carve out these attribute-related regions remains challenging. Existing methods applied attribute-agnostic visual attention or heuristic body-part localization mechanisms to enhance the local feature representations, while neglecting to employ attributes to define local feature areas. We propose a flexible Attribute Localization Module (ALM) to adaptively discover the most discriminative regions and learns the regional features for each attribute at multiple levels. Moreover, a feature pyramid architecture is also introduced to enhance the attribute-specific localization at low-levels with high-level semantic guidance. The proposed framework does not require additional region annotations and can be trained end-to-end with multi-level deep supervision. Extensive experiments show that the proposed method achieves state-of-the-art results on three pedestrian attribute datasets, including PETA, RAP, and PA-100K.

연구 동기 및 목표

• 영역 수준의 애너테이션이 없는 조건에서 보행자 이미지 내 속성과 관련된 영역을 국소화하는 문제를 해결하기 위해.
• 전역 특징에 의존하는 대신 속성에 특화된 분류 가능한 局부 특징을 학습하여 미세한 보행자 속성 인식 성능을 향상시키기 위해.
• 특정성 부족으로 인해 외부 파트 국소화 모듈이나 속성 무관 주의 메커니즘에 의존하는 것을 제거하기 위해.
• 영역 수준 또는 파트 수준의 애너테이션이 필요 없이 이미지 수준의 애너테이션만으로도 엔드 투 엔드 학습을 가능하게 하면서 모델의 효율성을 유지하기 위해.
• 특징 피라미드 아키텍처를 통해 고수준 의미 정보를 활용하여 저수준 특징에서의 국소화 정확도를 향상시키기 위해.

제안 방법

• 채널 간 상호의존성을 모델링하는 채널 주의 sub-network과 속성에 특화된 영역를 적응적으로 국소화하는 데 사용하는 공간 변환기를 조합한 속성 국소화 모듈(ALM)을 도입한다.
• 다양한 특징 수준에 다중 ALM을 배치하여 다중 스케일 속성에 특화된 국소화 및 특징 학습을 가능하게 한다.
• 고수준 의미 특징과 저수준 세부 정보를 융합하여 얕은 레이어에서의 국소화 정밀도를 향상시키기 위해 특징 피라미드 아키텍처를 구성한다.
• 동일한 속성 애너테이션을 사용하여 모든 레벨에서 ALM을 학습하고, 이후 예측을 융합하기 위한 투표 메커니즘을 적용함으로써 딥 서포비전을 적용한다.
• 추가 FLOPs와 파라미터를 최소화하기 위해 오직 완전 연결층과 1×1 컨볼루션층만을 사용하는 경량 설계를 채택한다.
• 영역 수준 또는 파트 수준의 애너테이션이 필요 없이 이미지 수준의 애너테이션만으로 전체 프레임워크를 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 영역 애너테이션이 없는 약한 지도 학습 환경에서 속성에 특화된 국소화가 효과적으로 학습될 수 있는가?
• RQ2 다중 스케일 특징 표현을 어떻게 활용하여 미세한 보행자 속성에 대한 국소화 정확도를 향상시킬 수 있는가?
• RQ3 저수준 세부 정보와 고수준 의미 정보를 융합한 특징 피라미드 아키텍처가 국소화 및 인식 성능 향상에 기여하는가?
• RQ4 다중 레벨에서의 딥 서포비전을 적용한 엔드 투 엔드 학습 가능한 프레임워크가 기존의 주의 또는 파트 기반 베이스라인을 초월하는가?
• RQ5 제안된 방법이 모델 복잡도를 얼마나 줄이며 동시에 인식 정확도를 향상시키는가?

주요 결과

• 제안된 방법은 PETA, RAP, PA-100K 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, PA-100K에서 평균 정확도(mA)가 80.68%로 이전 SOTA보다 3.7% 높게 기록되었다.
• PA-100K에서 제안 방법은 두 번째로 우수한 방법보다 F1 점수를 1.4% 향상시켜 도전적인 장꼬리형 데이터에 대한 뛰어난 일반화 능력을 입증하였다.
• PETA에서는 기본 모델 대비 mA에서 3.6% 향상되었고, RAP에서는 6.1%, PA-100K에서는 3.2% 향상되어 다양한 데이터셋에서 일관된 성능 향상을 보였다.
• 더 높은 재현율을 보이지만 정밀도와 F1 점수는 강력하게 유지되어, 클래스 불균형 설정에서도 강인함을 입증하였다.
• 모델은 추가로 0.17 GFLOPs와 최소한의 파라미터(51개 속성 기준 約 120만)만을 추가하여 이전 방법보다 훨씬 효율적인 것으로 나타났다.
• 제거 실험 결과 특징 피라미드와 투표 메커니즘이 성능 향상에 핵심적임을 확인하였으며, 이 둘을 모두 사용했을 때 최고의 성능를 기록하였다.