[논문 리뷰] Weakly-supervised Learning of Mid-level Features for Pedestrian Attribute Recognition and Localization

Kai Yu, Biao Leng외 3명|arXiv (Cornell University)|2016. 11. 17.

Advanced Neural Network Applications참고 문헌 16인용 수 12

한 줄 요약

이 논문은 GoogLeNet에 새로운 탐지 레이어를 도입하여 이미지 레벨 라벨만으로 중수준 속성 관련 특징을 탐지하는 약한 지도 학습 프레임워크인 WPAL-network를 제안한다. 탐지 반응 강도를 회귀하고 상관관계 강도에 따라 활성화 맵을 융합함으로써, 경계 상자 애너테이션 없이도 경쟁적인 보행자 속성 인식과 국소화를 달성하며, 안경이나 가방과 같은 미세한 속성의 효과적인 국소화를 입증한다.

ABSTRACT

State-of-the-art methods treat pedestrian attribute recognition as a multi-label image classification problem. The location information of person attributes is usually eliminated or simply encoded in the rigid splitting of whole body in previous work. In this paper, we formulate the task in a weakly-supervised attribute localization framework. Based on GoogLeNet, firstly, a set of mid-level attribute features are discovered by novelly designed detection layers, where a max-pooling based weakly-supervised object detection technique is used to train these layers with only image-level labels without the need of bounding box annotations of pedestrian attributes. Secondly, attribute labels are predicted by regression of the detection response magnitudes. Finally, the locations and rough shapes of pedestrian attributes can be inferred by performing clustering on a fusion of activation maps of the detection layers, where the fusion weights are estimated as the correlation strengths between each attribute and its relevant mid-level features. Extensive experiments are performed on the two currently largest pedestrian attribute datasets, i.e. the PETA dataset and the RAP dataset. Results show that the proposed method has achieved competitive performance on attribute recognition, compared to other state-of-the-art methods. Moreover, the results of attribute localization are visualized to understand the characteristics of the proposed method.

연구 동기 및 목표

• 저해상도, 자세 변화가 심하고 가림이 발생하는 감시 영상에서 보행자 속성 인식의 과제를 해결하기 위해.
• 경계 상자 애너테이션이 비용이 많이 들고 미세한 속성에 대해 모호하기 때문에, 이를 요구하지 않고도 보행자 속성의 약한 지도 학습 기반 국소화를 가능하게 하기 위해.
• 속성과 매우 관련성이 높은 중수준 의미적 특징을 탐지하여 인식 및 국소화 성능을 향상시키기 위해.
• 자르기 전의 이미지에서 비정상적인 보행자 위치나 자세가 있을 경우에도 관련 신체 부위에 초점을 맞출 수 있도록 하기 위해.
• 활성화 맵 융합과 상관관계 기반 가중치를 사용하여 속성의 근본적인 형태와 정보가 많은 영역을 추정하기 위해.

제안 방법

• GoogLeNet의 중간 부분에 탐지 레이어를 도입하여 이미지 레벨 라벨만으로도 중수준 특징을 학습할 수 있도록 한다.
• 최대 풀링 기반의 약한 지도 학습 기반 객체 탐지 기법을 사용하여 경계 상자 감독 없이도 탐지 레이어를 훈련시킨다.
• 모자, 안경과 같은 속성에 공간 제약을 부여하기 위해 유연한 공간 피ラ미드 풀링(FSPP)을 사용하여 국소화 정확도를 향상시킨다.
• 학습된 중수준 특징에서 탐지 반응 강도를 회귀하여 속성 레이블을 예측한다.
• 융합된 활성화 맵을 군집화하여 속성의 위치와 근본적인 형태를 추론하며, 융합 가중치는 속성과 중수준 탐지기 사이의 상관관계 강도로 설정한다.
• 학습된 중수준 특징의 존재 가능성 맵을 결합하여 보행자의 신체 영역을 추정함으로써 배경 및 자세 변화에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 약한 지도 학습 방식으로 탐지된 중수준 특징이 보행자 속성 인식 정확도를 향상시킬 수 있는가?
• RQ2 제안된 방법이 경계 상자 애너테이션 없이도 안경, 모자, 신발과 같은 미세한 속성을 국소화할 수 있는가?
• RQ3 상관관계 기반 가중치를 사용한 활성화 맵 융합이 속성의 형태와 위치를 추정하는 데 얼마나 효과적인가?
• RQ4 저수준 및 고수준 탐지기가 속성 인식에 기여하는 정도는 어떠한가? 저수준 특징은 미세한 속성에 대해 성능 향상에 기여할 수 있는가?
• RQ5 보행자가 비정상적인 위치에 있거나 부분적으로 가려져 있을 경우 모델이 강건성을 유지할 수 있는가?

주요 결과

• 제안된 WPAL-network는 PETA 및 RAP 데이터셋에서 이미지 레벨 라벨만을 사용함에도 불구하고 경쟁적인 속성 인식 성능를 달성하며, 최신 기술 수준의 방법들과 비교해도 뒤지지 않는다.
• 시각적 결과에서 볼 수 있듯이, 이 방법은 안경, 모자, 신발과 같은 미세한 속성을 성공적으로 국소화한다. 이는 효과적인 약한 지도 학습 기반 국소화를 입증한다.
• 사람이 이미지에서 기울여져 있거나 중심에서 벗어나 있어도, 중수준 특징의 존재 가능성 맵을 융합하여 보행자의 신체 영역을 정확히 추정할 수 있다.
• 고수준 탐지기가 속성 예측에 가장 크게 기여하지만, 저수준 탐지기 역시 의미 있는 역할을 하며, 특정 속성에 대해 상관관계 행렬에서 상위 랭크된 저수준 박스의 예를 통해 이를 입증할 수 있다.
• 상관관계 강도 행렬은 '안경 착용 여부'와 '상체: 빨간색' 같은 속성이 특정 중수준 특징 탐지기와 강하게 연관되어 있음을 보여주며, 이는 모델의 해석 가능성성을 검증한다.
• 국소화 실패 사례는 주로 가림 또는 속성 정의의 모호성 때문이며, 이는 맥락적 또는 관계 기반 모델링을 통해 향상 가능할 여지를 시사한다.