[논문 리뷰] Person Re-identification Using Visual Attention

Alireza Rahimpour, Liu Liu외 3명|arXiv (Cornell University)|2017. 07. 23.

Video Surveillance and Tracking Methods참고 문헌 41인용 수 5

한 줄 요약

이 논문은 CNN 아키텍처에서 기울기 기반 주의 메커니즘을 제안하여, 사람 재식별에 있어 모델이 구분력 있는 이미지 영역(예: 얼굴, 신발, 가방)에 집중하면서 나머지 부분은 저해상도로 처리하도록 한다. 이 방법은 Market1501, CUHK01, CUHK03에서 최신 기술 수준의 성능을 달성하며, 86.67%의 Rank-1 정확도와 75.32%의 mAP를 기록한다. 또한 주의 맵을 통해 계산 효율성과 모델의 해석 가능성을 향상시킨다.

ABSTRACT

Despite recent attempts for solving the person re-identification problem, it remains a challenging task since a person's appearance can vary significantly when large variations in view angle, human pose, and illumination are involved. In this paper, we propose a novel approach based on using a gradient-based attention mechanism in deep convolution neural network for solving the person re-identification problem. Our model learns to focus selectively on parts of the input image for which the networks' output is most sensitive to and processes them with high resolution while perceiving the surrounding image in low resolution. Extensive comparative evaluations demonstrate that the proposed method outperforms state-of-the-art approaches on the challenging CUHK01, CUHK03, and Market 1501 datasets.

연구 동기 및 목표

• 자세, 시점, 조도의 큰 변화가 있는 상황에서 사람 재식별 문제를 해결하기 위해.
• 딥 네트워크가 가장 정보적인 이미지 영역에 선택적으로 집중할 수 있도록 하여 매칭 정확도를 향상시키기 위해.
• RNN과 강화 학습을 피하는 계산적으로 효율적이고 해석 가능한 주의 메커니즘을 개발하기 위해.
• 지역화된 고해상도 특징 추출을 사용한 트리플릿 손실 프레임워크를 통해 기존 방법을 능가하는 성능을 내기 위해.

제안 방법

• 모델은 전역적이고 저해상도의 네트워크를 사용하여 기울기 기반 주의 맵을 생성하여 네트워크 출력에 가장 관련성이 높은 주목할 만한 이미지 영역을 식별한다.
• 고해상도 특징 추출은 주목된 영역에만 적용되며, 나머지 이미지는 저해상도로 처리되어 계산 비용이 감소한다.
• 네트워크 최적화를 위해 트리플릿 손실을 사용하여, 동일한 신원의 임베딩 간의 거리를 최소화하고, 다른 신원 간의 거리를 최대화한다.
• 주의 메커니즘은 미분 가능하며, 강화 학습이나 다중 구간 관찰 없이 종단 간(end-to-end)으로 훈련된다.
• 최종 특징 표현은 주목된 영역에서 유래한 국소적 특징과 전역적 특징을 조합하여 구분력이 향상된다.
• 모델은 해석 가능하며, 주의 맵을 통해 얼굴, 신발, 가방과 같은 핵심 구분력 있는 부분이 명확히 강조됨을 시각적으로 확인할 수 있다.

실험 결과

연구 질문

• RQ1 기울기 기반 주의 메커니즘이 구분력 있는 신체 부위에 집중함으로써 사람 재식별 정확도를 향상시킬 수 있는가?
• RQ2 RNN 기반 또는 강화 학습 기반 주의 메커니즘과 비교해 볼 때, 제안된 주의 메커니즘은 훈련 효율성과 성능 면에서 어떻게 다른가?
• RQ3 지역화된 고해상도 처리가 특징 품질을 향상시키면서도 계산 비용을 줄일 수 있는가?
• RQ4 주의 맵은 사람 재식별에서 모델의 해석 가능성을 어느 정도 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 Market1501 데이터셋에서 86.67%의 Rank-1 정확도를 달성하여 이전의 모든 최신 기술 수준 방법을 능가한다.
• CUHK01에서 모델은 89.90%의 Rank-1 정확도를 기록하여 이전 방법들보다 뚜렷이 뛰어나다.
• CUHK03에서 모델은 88.80%의 Rank-1 정확도를 달성하여 다양한 데이터셋 간의 강력한 일반화 능력을 보여준다.
• Market1501에서 모델은 75.32%의 mAP를 기록하여, 이전 방법들인 PDC(63.41%)와 JLML(65.50%)에 비해 상당한 향상을 이룬다.
• 주의 맵 덕분에 고해상도 처리를 주목된 영역에만 제한함으로써 추론 시 2.5배의 속도 향상을 달성한다.
• 주의 맵의 시각화 결과는 모델이 배경의 혼잡함을 억제하면서 얼굴, 신발, 가방과 같은 구분력 있는 부분에 정확히 집중하고 있음을 확인한다.