[논문 리뷰] Sequence-based Person Attribute Recognition with Joint CTC-Attention Model

Hao Liu, Jingjing Wu외 3명|arXiv (Cornell University)|2018. 11. 20.

Video Surveillance and Tracking Methods참고 문헌 27인용 수 11

한 줄 요약

이 논문은 순서 기반 인물 속성 인식을 위한 공동 CTC-Attention 모델(JCM)을 제안한다. 이 모델은 이미지와 속성 레이블을 모두 순서로 인코딩하고, 연결주의 시간 분류(CTC) 손실을 통해 특징 인코딩을 향상시키며, 어텐션 기반 기법을 사용해 의미 관계를 디코딩한다. 제안된 방법은 Market-1501, DukeMTMC, PETA 데이터셋에서 최신 기술 수준의 성능을 달성하며, Market-1501에서 91.3%의 Rank-1 정확도와 89.7%의 mAP를 기록하여 속성 순서에 대한 강건성과 공동 학습을 통한 재식별 성능 향상을 입증한다.

ABSTRACT

Attribute recognition has become crucial because of its wide applications in many computer vision tasks, such as person re-identification. Like many object recognition problems, variations in viewpoints, illumination, and recognition at far distance, all make this task challenging. In this work, we propose a joint CTC-Attention model (JCM), which maps attribute labels into sequences to learn the semantic relationship among attributes. Besides, this network uses neural network to encode images into sequences, and employs connectionist temporal classification (CTC) loss to train the network with the aim of improving the encoding performance of the network. At the same time, it adopts the attention model to decode the sequences, which can realize aligning the sequences and better learning the semantic information from attributes. Extensive experiments on three public datasets, i.e., Market-1501 attribute dataset, Duke attribute dataset and PETA dataset, demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 사람 재식별 및 속성 인식에서 보행자 속성 간 의미적 상관관계를 해결하기 위해.
• 기존 방법들이 속성 순서에 민감하고 약한 순서 일치를 겪는 한계를 극복하기 위해.
• 시야각, 조명 변화 및 장거리 탐지 변동성에 대응하기 위해 속성 간 관계를 순서 학습을 통해 모델링함으로써 강건성을 향상시키기 위해.
• 서로 다른 성능 향상을 위한 재식별과 속성 인식을 공동으로 학습하기 위해.
• 수동적인 속성 순서 설정 없이도 종단간 순서 모델링이 가능한 CTC 손실과 어텐션 기반 디코딩을 도입하기 위해.

제안 방법

• 의미적 관계를 표현하기 위해 사전 정의된 매핑 테이블을 사용해 모든 보행자 속성을 고정 길이의 숫자 시퀀스로 매핑한다.
• 입력 이미지를 순차적 특징 표현으로 인코딩하기 위해 컨volutional 신경망(CNN)을 사용한다.
• 입력과 출력 시퀀스 간 정확한 일치가 필요 없이 네트워크를 훈련시킬 수 있도록 연결주의 시간 분류(CTC) 손실을 적용하여 강건한 순서 인코딩을 가능하게 한다.
• 병렬 처리를 통해 전체 시퀀스를 한 번에 예측할 수 있도록 Transformer 기반 어텐션 기반 기법을 사용해 속성 시퀀스를 디코딩하며, 의미적 특징 학습을 향상시킨다.
• 가중치 손실 함수와 초모수 λ를 사용해 속성 인식과 사람 재식별을 공동으로 훈련한다.
• 다양한 데이터셋(예: PETA의 TownCenter 등) 간 혼합 훈련을 통해 일반화 능력과 모델의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 보행자 속성을 시퀀스로 모델링하면 속성 간 의미적 상관관계를 포착함으로써 인식 성능 향상이 가능한가?
• RQ2 CTC 손실을 사용하면 정확한 지표 일치가 필요 없이도 이미지에서 속성 시퀀스로의 의미 있는 일치를 학습할 수 있는가?
• RQ3 어텐션 기반 시퀀스 디코딩은 속성 예측 정확도와 속성 순서에 대한 강건성에 얼마나 기여하는가?
• RQ4 속성 인식과 사람 재식별을 공동으로 학습하면 양쪽 작업의 성능에 어떤 영향을 미치는가?
• RQ5 혼합 훈련 덕분에 제안된 방법은 속성 순서와 데이터셋 분포의 변동성에 강건한가?

주요 결과

• 공동 CTC-Attention 모델(JCM)은 Market-1501 데이터셋에서 91.3%의 Rank-1 정확도와 89.7%의 mAP를 달성하여 최신 기술 수준의 성능을 넘어서는 성과를 보였다.
• 개별 속성인 '나이'와 '모자'를 제거해도 높은 성능를 유지하며, 각각 Rank-1 정확도가 2.5%, 2.7% 감소하는 것으로 나타나 강력한 기여도를 보였다.
• 다양한 매핑 테이블 설정에서도 일관된 성능을 보이며 속성 순서에 대해 강건함을 입증했고, 이는 CTC 손실이 순서 무관 학습을 가능하게 함을 확인한다.
• 속성 인식과 사람 재식별을 공동으로 훈련한 결과, 91.3%의 Rank-1 정확도와 89.7%의 mAP를 기록했고, 별도 훈련 시 89.0%와 88.8%보다 뛰어난 성능을 보였다.
• PETA의 여러 데이터셋 간 혼합 훈련은 일반화 능력을 크게 향상시켰으며, TownCenter에서 87.7%의 Rank-1 정확도와 91.8%의 mAP를 기록하여 별도 훈련(83.9%와 90.1%)보다 뛰어난 성능을 보였다.
• Market-1501과 PETA 양쪽 데이터셋에서 기본 CNN 레이어(28×2048)에서 추출한 특징가 밀도 모델(1024-dim)보다 더 뛰어난 성능를 보였으며, 더 깊은 특징가 더 구분력이 있음을 시사한다.