[논문 리뷰] Region-based Quality Estimation Network for Large-scale Person Re-identification

Guanglu Song, Biao Leng외 3명|arXiv (Cornell University)|2017. 11. 23.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 26

한 줄 요약

이 논문은 영상 기반 인물 재식별을 위한 영역 기반 품질 평가 네트워크(RQEN)를 제안한다. RQEN은 프레임 간 공간적 영역의 품질을 동시에 평가하고, 일련의 영상에서 고품질 영역으로부터 상보적인 정보를 통합함으로써 성능을 햖थ한다. RQEN은 PRID 2011에서 +1.5%의 상위 1위 정확도, iLIDS-VID에서 +9.1%의 상위 1위 정확도를 기록하여 최신 기술 수준을 달성하였으며, 7,694개의 트랙렛과 590,000장의 이미지를 포함하는 대규모이고 청소된 LPW 데이터셋을 제공하여 현실적인 벤치마킹을 가능하게 하였다.

ABSTRACT

One of the major restrictions on the performance of video-based person re-id is partial noise caused by occlusion, blur and illumination. Since different spatial regions of a single frame have various quality, and the quality of the same region also varies across frames in a tracklet, a good way to address the problem is to effectively aggregate complementary information from all frames in a sequence, using better regions from other frames to compensate the influence of an image region with poor quality. To achieve this, we propose a novel Region-based Quality Estimation Network (RQEN), in which an ingenious training mechanism enables the effective learning to extract the complementary region-based information between different frames. Compared with other feature extraction methods, we achieved comparable results of 92.4%, 76.1% and 77.83% on the PRID 2011, iLIDS-VID and MARS, respectively. In addition, to alleviate the lack of clean large-scale person re-id datasets for the community, this paper also contributes a new high-quality dataset, named "Labeled Pedestrian in the Wild (LPW)" which contains 7,694 tracklets with over 590,000 images. Despite its relatively large scale, the annotations also possess high cleanliness. Moreover, it's more challenging in the following aspects: the age of characters varies from childhood to elderhood; the postures of people are diverse, including running and cycling in addition to the normal walking state.

연구 동기 및 목표

• 부분적인 노이즈(가림, 흐림, 조명 변화 등)로 인한 인물 재식별 성능 저하 문제를 해결하기 위해.
• 프레임 간 고품질 영역을 선택적으로 활용하여 영상 시퀀스 내 특징 통합을 향상시키기 위해.
• 전체 프레임을 동일하게 취급하는 대신, 동적으로 영역 수준의 이미지 품질을 평가하는 방법을 개발하기 위해.
• 학습 및 평가를 위한 대규모이고 청소된, 현실적인 인물 재식별 데이터셋의 부족 문제를 해소하기 위해.
• 다양한 연령, 자세, 복잡한 환경 등 실제 세계의 과제를 반영하는 벤치마크 데이터셋을 제공하기 위해.

제안 방법

• RQEN은 분류 및 확인 신호를 사용하여 엔드 투 엔드로 훈련되는 영역 기반 품질 예측기와 영역 특징 생성 모듈을 갖춘 이중 스트림 아키텍처를 사용한다.
• 특징 추출과 품질 평가의 동시 최적화를 가능하게 하기 위해 새로운 기울기 설계를 도입하여, 모델이 표현에 가장 신뢰할 수 있는 영역을 학습할 수 있도록 한다.
• 품질 점수는 공간적 영역 단위로 예측되며, 시퀀스 수준의 통합 과정에서 특징 기여도를 가중치로 사용하여 신뢰도가 높은 영역을 강조하고 노이즈가 많은 영역은 억제한다.
• 다중 수준 특징 학습을 적용하여 다양한 수신장 내의 계층적 표현을 캡처함으로써, 가림 및 변형에 대한 강건성을 향상시킨다.
• 정체성 분류를 위한 크로스 엔트로피 손실과 메트릭 학습을 위한 트리플릿 손실의 조합을 사용하여 훈련함으로써 강력한 특징 분리 능력을 확보한다.

실험 결과

연구 질문

• RQ1 부분적인 가림과 노이즈 상황에서도 영역 기반 품질 평가 메커니즘이 영상 기반 인물 재식별의 특징 표현을 향상시킬 수 있는가?
• RQ2 다른 프레임에서 고품질 영역의 상보적 정보는 시퀀스 내 저품질 영역을 얼마나 효과적으로 보완할 수 있는가?
• RQ3 제안된 RQEN은 도전적인 시퀀스에서 평균 풀링이나 프레임 수준의 가중치 방법과 비교해 볼 때 얼마나 뛰어난 성능을 보이는가?
• RQ4 다양한 자세, 연령, 환경 복잡성 요소를 포함한 대규모이고 현실적인 데이터셋에서 품질 평가 메커니즘의 성능은 어떠한가?
• RQ5 제안된 LPW 데이터셋은 인물 재식별 모델의 학습 및 평가를 위한 더 현실적이고 도전적인 벤치마크로 기능할 수 있는가?

주요 결과

• PRID 2011에서 RQEN은 상위 1위 정확도 91.8%를 기록하여 이전 최신 기술 수준 대비 1.5% 향상되었다.
• iLIDS-VID에서 RQEN은 상위 1위 정확도 77.1%를 기록하여 이전 최신 기술 수준 대비 9.1% 향상되었으며, 부분적 가림에 대한 강력한 강건성을 입증하였다.
• MARS 데이터셋에서 RQEN은 상위 1위 정확도 77.83%를 기록하여, 경계 상자 정렬 오류 도전 과제가 있음에도 불구하고 최신 기술 수준과 유사한 성능을 보였다.
• 최근 도입된 LPW 데이터셋에서 RQEN은 베이스라인 대비 상위 1위 정확도를 15.6% 향상시켜 대규모이고 현실적인 데이터에서의 효과성을 확인하였다.
• 절단 실험 결과, 품질 모듈(+QM)이 성능 향상에 크게 기여하는 것으로 확인되었으며, 고정된 품질 평가(+QFix)와 파rameter 증가(+MP)의 경우 성능이 열등하여 엔드 투 엔드로 학습된 품질 점수의 효과성을 입증하였다.