[논문 리뷰] Sharp Attention Network via Adaptive Sampling for Person Re-identification

Chen Shen, Guo-Jun Qi외 5명|arXiv (Cornell University)|2018. 05. 07.

Video Surveillance and Tracking Methods인용 수 3

한 줄 요약

이 논문은 사람 재식별(person re-identification, re-ID)를 위한 더 날카럽고 이산적인 주의 마스크를 생성하기 위해 적응형 샘플링을 사용하는 날카로운 주의 네트워크를 제안한다. 소프트 게이팅 메커니즘을 대체하여 미분 가능한 Gumbel-Softmax 샘플링을 사용한다. 이 방법은 CUHK03, Market-1501, DukeMTMC-reID에서 최고 성능을 기록하며, 레이블이 부여된 CUHK03에서는 88.3%의 랭크-1 정확도와, 검출된 경우 84.3%의 랭크-1 정확도를 기록하여 이전의 소프트 주의 및 최신 기술(SOTA) 방법들을 능가한다.

ABSTRACT

In this paper, we present novel sharp attention networks by adaptively sampling feature maps from convolutional neural networks (CNNs) for person re-identification (re-ID) problem. Due to the introduction of sampling-based attention models, the proposed approach can adaptively generate sharper attention-aware feature masks. This greatly differs from the gating-based attention mechanism that relies soft gating functions to select the relevant features for person re-ID. In contrast, the proposed sampling-based attention mechanism allows us to effectively trim irrelevant features by enforcing the resultant feature masks to focus on the most discriminative features. It can produce sharper attentions that are more assertive in localizing subtle features relevant to re-identifying people across cameras. For this purpose, a differentiable Gumbel-Softmax sampler is employed to approximate the Bernoulli sampling to train the sharp attention networks. Extensive experimental evaluations demonstrate the superiority of this new sharp attention model for person re-ID over the other state-of-the-art methods on three challenging benchmarks including CUHK03, Market-1501, and DukeMTMC-reID.

연구 동기 및 목표

• 사람 재식별에서 미세한, 특징적으로 구분되는 요소를 국소화하는 데 어려움을 겪는 소프트 주의 마스크의 모호함을 해결하기 위해.
• 주로 1(주의 대상) 또는 0(주의 미대상)인 더 날카롭고 확실한 주의 마스크를 생성함으로써 특징 국소화를 향상시키고 불확실성을 감소시키기 위해.
• 이산적 샘플링의 비가역성 문제를 해결하기 위해, 미분 가능한 Gumbel-Softmax 샘플링을 통해 날카로운 주의 기반의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 맥락 인식형 프론트엔드 유닛을 통합하여 복잡한 재식별 시나리오에서 성능을 향상시키기 위해.
• 다양한 벤치마크에서 기존의 소프트 게이팅 주의 모델 및 최신 기술(SOTA) 재식별 방법들을 능가하기 위해.

제안 방법

• 이 방법은 이산적 주의 마스크를 통해 역전파를 가능하게 하기 위해 베르누이 샘플링을 근사하기 위해 미분 가능한 Gumbel-Softmax 샘플러를 사용한다.
• 직접 컨볼루션 특징 맵에서 샘플링하여 이진형에 가까운 마스크를 생성함으로써, 값이 0 또는 1에 가까운 날카로운 주의 마스크를 생성하여 주의의 모호성을 최소화한다.
• 원본 CNN 특징과 날카로운 주의 특징을 함께 최적화하기 위해 교차 특징 상호작용 학습 체계를 도입하여 표현력을 향상시킨다.
• 특징적으로 구분되는 단서가 맥락에 의존하는 경우가 많은 복잡한 시각적 맥락에서 샘플링을 더 잘 이끌 수 있도록 주의 마스크 생성기의 앞단에 맥락 인식형 프론트엔드 유닛을 추가한다.
• Gumbel-Softmax 리라크스 덕분에 샘플링 연산을 통한 기울기 흐름을 허용하며, 표준 re-ID 손실 함수를 사용해 엔드 투 엔드로 모델을 학습시킨다.
• 주의 마스크 생성기는 특징적으로 구분되는 부분(예: 독특한 옷이나 가방 등)에 집중하도록 학습되어, 다양한 카메라 간 사람 매칭 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 샘플링 기반 주의 기반의 방법이 소프트 게이팅 기반의 방법보다 사람 재식별에서 더 날카롭고 확실한 주의 마스크를 생성할 수 있는가?
• RQ2 미분 가능한 Gumbel-Softmax 샘플링을 사용하면 딥 컨볼루션 네트워크에서 이산적 주의 마스크의 엔드 투 엔드 학습이 효과적으로 가능해지는가?
• RQ3 날카로운 주의 마스크가 다양한 카메라 간에 미세한, 특징적으로 구분되는 요소를 더 잘 국소화함으로써 사람 재식별 정확도를 향상시킬 수 있는가?
• RQ4 제안된 방법은 Market-1501, CUHK03, DukeMTMC-reID와 같은 표준 벤치마크에서 최신 기술(SOTA) 재식별 모델과 비교해 어떻게 성능을 내는가?
• RQ5 맥락 인식형 프론트엔드 유닛의 통합이 복잡하거나 모호한 시각적 상황에서 날카로운 주의의 성능을 향상시키는가?

주요 결과

• CUHK03 레이블이 부여된 데이터셋에서 제안된 방법은 88.3%의 랭크-1 정확도, 98.8%의 랭크-5 정확도, 99.4%의 랭크-10 정확도를 기록하며, mAP는 85.9%를 달성하여 이전의 모든 최신 기술(SOTA) 방법들을 능가한다.
• CUHK03 검출된 데이터셋에서 방법은 랭크-1 정확도 84.3%와 mAP 82.2%를 기록하여 이 도전적인 벤치마크에서 새로운 SOTA를 수립한다.
• Market-1501에서 방법은 랭크-1 정확도 85.9%와 mAP 70.1%를 기록하며, 두 번째로 좋은 방법(PDC)보다 랭크-1에서 1.5% 향상되고 mAP에서 6.7% 향상되었다.
• DukeMTMC-reID에서 방법은 랭크-1 정확도 77.9%와 mAP 58.8%를 기록하여 이 데이터셋에서 새로운 최고 성능(SOTA)을 달성했다.
• 절단 분석(ablation study)은 날카로운 주의 기반의 방법이 소프트 주의 기반의 기준 모델에 비해 성능을 크게 향상시키며, 특히 독특한 가방이나 옷 패턴과 같은 미세한 시각적 단서를 국소화하는 데서 뚜렷한 효과를 보임을 확인했다.
• 맥락 인식형 프론트엔드 유닛의 통합은 성능을 추가로 향상시켜, 복잡한 장면에서 주의를 더 효과적으로 이끌 수 있음을 입증했다.