[논문 리뷰] Attribute Recognition by Joint Recurrent Learning of Context and Correlation

Jingya Wang, Xiatian Zhu외 2명|arXiv (Cornell University)|2017. 09. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 36

한 줄 요약

이 논문은 저품질 감시 영상에서 훈련 데이터가 제한된 상황에서도 인물 내부 속성 간 상관관계와 인물 간 이미지 유사도를 동시에 모델링함으로써 보행자 속성 인식 성능을 향상시키는 공동 순환 학습(Joint Recurrent Learning, JRL) 모델을 제안한다. 순차적-순차적 RNN 인코더-디코더 아키텍처를 통해 이를 달성하였으며, PETA 및 RAP 벤치마크에서 최신 기술(SOTA) 수준의 성능을 기록하였다. 속성 순서 앙상블을 통해 mAP가 3.54% 향상되었고, 순환 주의 메커니즘과 맥락 모델링으로 인해 뛰어난 안정성 확보도 이루어졌다.

ABSTRACT

Recognising semantic pedestrian attributes in surveillance images is a challenging task for computer vision, particularly when the imaging quality is poor with complex background clutter and uncontrolled viewing conditions, and the number of labelled training data is small. In this work, we formulate a Joint Recurrent Learning (JRL) model for exploring attribute context and correlation in order to improve attribute recognition given small sized training data with poor quality images. The JRL model learns jointly pedestrian attribute correlations in a pedestrian image and in particular their sequential ordering dependencies (latent high-order correlation) in an end-to-end encoder/decoder recurrent network. We demonstrate the performance advantage and robustness of the JRL model over a wide range of state-of-the-art deep models for pedestrian attribute recognition, multi-label image classification, and multi-person image annotation on two largest pedestrian attribute benchmarks PETA and RAP.

연구 동기 및 목표

• 저품질, 저해상도, 레이블이 제한된 감시 영상에서 보행자 속성 인식의 과제를 해결한다.
• 기존 방법들이 속성 상관관계와 시각적 맥락을 별도로 다루거나 신체 부위 검출과 같은 약한 지도 학습에 의존하는 한계를 극복한다.
• 동일 인물 내에서의 속성 상관관계(예: '여성'과 '스커트'가 동시에 나타나는 경우)와 같은 인물 간 이미지 유사도(예: 같은 장면에 있는 사람들이 공통 속성을 공유하는 경우)를 동시에 모델링하는 통합 딥러닝 프레임워크를 개발하여 안정성을 향상시킨다.
• 순환 아키텍처를 통해 속성 간 순차적 종속성을 활용하여 희소하게 레이블이 부여된 저품질 데이터에서도 더 정확하고 안정적인 속성 예측을 가능하게 한다.

제안 방법

• 고정 길이의 영역 시퀀스를 속성 목록으로 매핑하는 순차적-순차적 RNN 인코더-디코더 모델을 수립한다.
• 인코더를 사용해 보행자 영상의 국소적 공간 영역을 처리함으로써, 공간적 종속성을 순환적으로 인코딩하여 인물 내부 속성 맥락을 포착한다.
• 훈련 데이터셋에서 시각적으로 유사한 예시 이미지를 검색하여 인물 간 유사도 맥락을 통합함으로써 이미지 표현을 풍부화한다.
• 인코딩된 이미지 및 맥락 특징을 융합하여 디코더를 초기화하고, 순환적 자동회귀 예측을 통해 가변 길이의 속성 시퀀스를 생성한다.
• 데이터 기반 순환 주의 메커니즘을 도입하여 이미지 영역 시퀀스와 속성 레이블 시퀀스를 정렬함으로써 관련 시각적 단서에 집중도 향상시킨다.
• 속성 순서 앙상블를 적용하여 10개의 랜덤 속성 순서 조합에 대해 예측을 학습하고 평균을 내어, 노이즈가 많거나 손상된 데이터에서의 불확실성 감소와 안정성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 인물 내부 속성 상관관계와 인물 간 이미지 유사도를 동시에 모델링하는 것이 저데이터 및 저품질 조건에서 보행자 속성 인식 성능을 향상시키는가?
• RQ2 순환적 순차적-순차적 아키텍처는 CNN 기반의 동시 예측 모델에 비해 고차원 속성 종속성을 얼마나 잘 포착하는가?
• RQ3 인물 간 유사도 맥락을 통합할 경우 PETA 및 RAP와 같은 소규모 벤치마크에서 모델의 안정성과 성능 향상에 얼마나 기여하는가?
• RQ4 속성 순서 앙상블 및 순환 주의 메커니즘의 사용이 시각적 단서가 약하거나 해상도가 낮은 이미지에서 정확도 및 일반화 능력을 얼마나 향상시키는가?

주요 결과

• PETA 벤치마크에서 JRL 모델은 mAP 85.67%를 기록하였으며, 10개의 랜덤 속성 순서 예측 평균(82.13%) 대비 3.54% 향상되었다.
• RAP 벤치마크에서 JRL 모델은 mAP 77.81%를 달성하였으며, 10개의 속성 순서 앙상블 평균(74.74%) 대비 3.07% 향상되었다.
• 인물 간 유사도 맥락을 제외할 경우 PETA에서 mAP가 0.65% 감소하고 RAP에서는 0.87% 감소하여, 이 맥락이 성능 향상에 중요한 기여를 한다는 것을 입증하였다.
• 순환 주의 메커니즘을 제거할 경우 PETA에서 mAP가 1.64% 감소하고 RAP에서는 1.85% 감소하여, 이는 시각적 시퀀스와 속성 시퀀스를 정렬하는 데서 주의 메커니즘이 중요한 가치를 지닌다는 것을 확인하였다.
• 정성적 분석 결과, JRL은 '스커트'나 '긴 머리카락'과 같은 속성을 시각적으로 모호하거나 가림을 입은 경우에도 순차적 맥락(예: '나이-머리카락-스커트' 순서)을 활용하여 정확히 예측하였다.
• 반면, 순차적 모델이 아닌 모델인 DeepMAR는 시각적 단서가 약할 경우 이러한 속성을 정확히 예측하지 못하였으며, 이는 순차적 모델링의 우수성을 강력히 시사한다.