[논문 리뷰] Vehicle Re-identification Using Quadruple Directional Deep Learning Features

Jianqing Zhu, Huanqiang Zeng외 5명|arXiv (Cornell University)|2018. 11. 13.

Advanced Neural Network Applications참고 문헌 15인용 수 11

한 줄 요약

이 논문은 시점 변화에 대한 강건성을 향상시키기 위해 수평, 수직, 대각선, 반대 대각선 특징 맵을 추출하고 융합하는 짧고 밀도 높은 연결된 CNN과 방향성 평균 풀링 레이어를 사용하여, 차량 재식별을 위한 새로운 방법인 사중 방향 딥 러닝 특징(QD-DLF)을 제안한다. 이 방법은 VeRi 및 VehicleID 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여, 평균 정밀도 및 랭크-1 식별률 측면에서 기존 방법들을 크게 능가한다.

ABSTRACT

In order to resist the adverse effect of viewpoint variations for improving vehicle re-identification performance, we design quadruple directional deep learning networks to extract quadruple directional deep learning features (QD-DLF) of vehicle images. The quadruple directional deep learning networks are with similar overall architecture, including the same basic deep learning architecture but different directional feature pooling layers. Specifically, the same basic deep learning architecture is a shortly and densely connected convolutional neural network to extract basic feature maps of an input square vehicle image in the first stage. Then, the quadruple directional deep learning networks utilize different directional pooling layers, i.e., horizontal average pooling (HAP) layer, vertical average pooling (VAP) layer, diagonal average pooling (DAP) layer and anti-diagonal average pooling (AAP) layer, to compress the basic feature maps into horizontal, vertical, diagonal and anti-diagonal directional feature maps, respectively. Finally, these directional feature maps are spatially normalized and concatenated together as a quadruple directional deep learning feature for vehicle re-identification. Extensive experiments on both VeRi and VehicleID databases show that the proposed QD-DLF approach outperforms multiple state-of-the-art vehicle re-identification methods.

연구 동기 및 목표

• 실세계 감시 환경에서 성능을 심각하게 떨어뜨리는 시점 변화 문제를 해결하기 위해.
• 다양한 방향에서 차량 이미지의 구조적 특징을 캡처하여 특징 표현을 향상시키기 위해.
• 방향성 특징을 융합하여 분류 능력과 강건성을 향상시키는 딥 러닝 아키텍처를 설계하기 위해.
• 합리적인 추론 효율성을 유지하면서도 뛰어난 재식별 정확도를 달성하기 위해.

제안 방법

• 정사각형 차량 이미지에서 기본 특징 맵을 추출하기 위해 짧고 밀도 높은 연결된 컨볼루션 신경망을 사용한다.
• 수평(HAP), 수직(VAP), 대각선(DAP), 반대 대각선(AAP)의 네 가지 별도의 방향성 평균 풀링 레이어를 적용하여 기본 특징 맵을 방향성 특징 맵으로 압축한다.
• 각 방향성 특징 맵은 공간적으로 정규화되고 연결되어 통합된 사중 방향 딥 러닝 특징(QD-DLF)을 형성한다.
• QD-DLF 특징은 재식별 작업에서 서로 다른 카메라 뷰 간의 매칭에 사용된다.
• 다양한 방향성 특징의 분류 능력을 활용하여, 종단 간(end-to-end)으로 딥 러닝 프레임워크를 통해 모델을 훈련시킨다.
• 표준 벤치마크인 VeRi 및 VehicleID 데이터셋을 사용하여 방법을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 방향에서 추출한 특징를 융합하는 것이 차량 재식별에서 시점 변화에 대한 강건성을 향상시키는가?
• RQ2 제안된 QD-DLF 방법은 통합 특징 학습 및 다른 최신 기술 수준(SOTA) 방법과 비교해 성능가 어떻게 되는가?
• RQ3 더 깊거나 더 복잡한 아키텍처에 비해 QD-DLF 모델의 계산 효율성은 어떠한가?
• RQ4 표준 전역 평균 풀링보다 방향성 풀링 레이어를 사용할 경우 더 나은 분류 능력을 가진 특징 표현이 이루어지는가?

주요 결과

• 제안된 QD-DLF 방법은 VeRi 데이터셋에서 평균 정밀도(MAP) 92.4%를 달성하여 다음으로 우수한 방법보다 뚜렷이 뛰어나다.
• VehicleID 데이터셋에서는 QD-DLF가 MAP 88.7%를 기록하여 다양한 데이터셋 간의 뛰어난 일반화 능력을 보여준다.
• 가장 우수한 통합 특징 기반 베이스라인(F-DLF-256)에 비해 QD-DLF는 MAP를 20.84% 향상시키고 랭크-1 식별률을 8.35% 향상시켰다.
• V-DLF 변종만으로도 F-DLF-256 통합 특징보다 뛰어난 성능을 보여, 방향성 특징 학습이 전체 연결 기반의 통합 학습보다 더 효과적임을 시사한다.
• QD-DLF의 특징 추출 시간은 이미지당 11.199 ms이며, 더 복잡한 모델임에도 불구하고 DenseNet121보다 2.448 ms 빠르다.
• QD-DLF 모델은 높은 효율성을 유지하여, 각 방향성 특징 추출에 약 2.3 ms가 소요되며, GoogLeNet과 유사하고 DenseNet121보다 빠르다.