[논문 리뷰] Relation Preserving Triplet Mining for Stabilizing the Triplet Loss in Vehicle Re-identification.

Adhiraj Ghosh, Kuruparan Shanmugalingam외 1명|arXiv (Cornell University)|2021. 10. 15.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 4

한 줄 요약

이 논문은 자동차 재식별 인스턴스 내에서 자세 변화로 인해 발생하는 자연스러운 하위군을 고려하는 새로운 트리플릿 마이닝 전략인 관계 보존 트리플릿 마이닝(RPTM)을 제안한다. 샘플 간의 내재된 관계를 유지함으로써 RPTM은 트리플릿 손실을 안정화시키고, 고정된 하이퍼파라미터를 가진 단일 네트워크가 세 가지 주요 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있도록 한다.

ABSTRACT

Object appearances often change dramatically with pose variations. This creates a challenge for embedding schemes that seek to map instances with the same object ID to locations that are as close as possible. This issue becomes significantly heightened in complex computer vision tasks such as re-identification(re-id). In this paper, we suggest these dramatic appearance changes are indications that an object ID is composed of multiple natural groups and it is counter-productive to forcefully map instances from different groups to a common location. This leads us to introduce Relation Preserving Triplet Mining (RPTM), a feature matching guided triplet mining scheme, that ensures triplets will respect the natural sub-groupings within an object ID. We use this triplet mining mechanism to establish a pose-aware, well-conditioned triplet cost function. This allows a single network to be trained with fixed parameters across three challenging benchmarks, while still providing state-of-the-art re-identification results.

연구 동기 및 목표

• 자세 변화로 인한 급격한 외관 변화 문제를 해결하기 위해.
• 자연스러운 하위군이 존재할 경우, 동일한 ID의 모든 인스턴스를 단일 임베딩 영역으로 강제로 통합하는 것이 오히려 역효과를 낼 수 있음을 규명하기 위해.
• 동일한 ID 내에 존재하는 내재된 하위군을 존중하는 트리플릿 마이닝 기법을 개발하여 임베딩 품질을 향상시키기 위해.
• 고정된 하이퍼파라미터로 다양한 벤치마크에서 안정적인 훈련을 가능하게 하는 자세 인식형, 잘 조건화된 트리플릿 손실 함수를 설계하기 위해.

제안 방법

• 동일한 객체 ID 내에 존재하는 자연스러운 하위군을 식별하고 존중하는 기능 매칭 유도형 트리플릿 마이닝 기법인 관계 보존 트리플릿 마이닝(RPTM)을 도입한다.
• 자세 변화로 인한 외관 변화의 구조를 활용하여 트리플릿 선택을 유도함으로써, 양성 샘플이 동일한 자연스러운 하위군에서 추출되도록 보장한다.
• 하위군 내의 상대적 거리를 유지하면서도 ID 간의 분류 능력을 유지하는 자세 인식형 트리플릿 손실 함수를 제안한다.
• RPTM 유도 손실을 사용하여 세 가지 벤치마크 데이터셋에서 고정된 하이퍼파라미터를 가진 단일 딥 네트워크를 훈련시킨다.
• 동일 ID의 서로 다른 하위군에서 온 인스턴스들이 분리되지 않도록 트리플릿 마이닝 과정을 보장함으로써 임베딩 붕괴를 줄인다.

실험 결과

연구 질문

• RQ1 어떻게 하면 자동차 재식별에서 자세 변화로 인한 급격한 외관 변화를 다룰 수 있는 트리플릿 마이닝을 개선할 수 있는가?
• RQ2 동일한 차량 ID 내에 존재하는 자연스러운 하위군이 트리플릿 손실의 안정성과 성능에 어느 정도 영향을 미치는가?
• RQ3 관계 보존 마이닝 전략은 고정된 네트워크 하이퍼파라미터로 여러 벤치마크에서 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 내부 ID 하위군의 구조를 유지함으로써 트리플릿 손실 함수의 조건화는 어떻게 향상되는가?

주요 결과

• RPTM는 고정된 하이퍼파라미터를 사용하여 세 가지 주요 자동차 재식별 벤치마크에서 단일 딥 네트워크가 최신 기술 수준의 성능을 달성할 수 있도록 한다.
• 자세 변화로 인해 형성된 자연스러운 하위군을 존중함으로써 RPTM는 트리플릿 손실을 안정화시키고 임베딩 붕괴를 감소시킨다.
• 서로 다른 하위군을 단일 임베딩 영역으로 강제로 통합하는 것을 피함으로써 모델은 더 나은 내부 ID 밀도를 유지한다.
• 자세 인식형, 관계 보존 마이닝은 잘 조건화된 손실 함수를 이끌어내어 다양한 데이터셋에서 효과적으로 일반화된다.