[논문 리뷰] Augmented Hard Example Mining for Generalizable Person Re-Identification

Masato Tamura, Tomokazu MURAKAMI|arXiv (Cornell University)|2019. 10. 11.

Video Surveillance and Tracking Methods참고 문헌 43인용 수 18

한 줄 요약

이 논문은 네트워크 아키텍처를 수정하지 않고도 개인 재식별(Re-ID)의 일반화 성능을 향상시키는 간단하면서도 효과적인 데이터 증강 전략인 강화된 하드 예제 마이닝(AHEM)을 제안한다. 분류 확률을 통해 하드 예제를 식별하고, 다양한 증강 기법을 적용하며, 분류 기반 필터를 통해 가장 과도하게 변형되지 않은 실제적인 예제들만 선택함으로써 AHEM은 최소한의 계산 오버헤드로도 여러 벤치마크에서 최신 기술 수준(SoTA) 성능을 달성한다.

ABSTRACT

Although the performance of person re-identification (Re-ID) has been much improved by using sophisticated training methods and large-scale labelled datasets, many existing methods make the impractical assumption that information of a target domain can be utilized during training. In practice, a Re-ID system often starts running as soon as it is deployed, hence training with data from a target domain is unrealistic. To make Re-ID systems more practical, methods have been proposed that achieve high performance without information of a target domain. However, they need cumbersome tuning for training and unusual operations for testing. In this paper, we propose augmented hard example mining, which can be easily integrated to a common Re-ID training process and can utilize sophisticated models without any network modification. The method discovers hard examples on the basis of classification probabilities, and to make the examples harder, various types of augmentation are applied to the examples. Among those examples, excessively augmented ones are eliminated by a classification based selection process. Extensive analysis shows that our method successfully selects effective examples and achieves state-of-the-art performance on publicly available benchmark datasets.

연구 동기 및 목표

• 훈련 중 타겟 도메인 데이터가 없을 경우, 새로운 도메인에 모델을 구현하는 데 실용적인 과제를 해결하기 위해.
• 배포 시점에 타겟 도메인 레이블이 가용하지 않은 도메인 일반화(DG) 설정에서 모델의 일반화 성능을 향상시키기 위해.
• 복잡한 딥 네트워크를 수정하거나 추론 시 추가 연산을 추가하지 않고도 성능을 향상시키는 방법을 개발하기 위해.
• 분류 기반 선택을 통해 비현실적인 예제를 걸러내는 방식으로 과도한 증강을 방지하는 데이터 증강 전략을 개발하기 위해.

제안 방법

• 훈련 중에 입력 이미지 미니배치에서 낮은 분류 확률을 보이는 하드 예제를 식별한다.
• 색상 왜곡, 무작위 크롭, 회전, 수평 뒤집기 등의 다양한 증강 유형을 선택된 하드 예제에 적용하여 난이도를 높인다.
• 모든 증강 변형을 평가하는 분류 기반 선택 과정을 통해 너무 왜곡되거나 비현실적인 예제는 기각하고, 가장 과도하지 않으면서도 도전적인 예제들만 유지한다.
• 최종 선택된 예제들은 오직 고품질의, 분류하기 어려운 예제들로만 구성되어 있어 역전파 과정에서 특징 학습을 향상시킨다.
• 이 방법은 즉시 사용 가능한 플러그 앤 플레이 방식으로, 아키텍처 변경 없이도 표준 Re-ID 훈련 파이프라인에 원활하게 통합된다.
• 이 접근법은 원본 미니배치에 표준 데이터 증강(예: 무작위 수평 뒤집기)만 사용하여 현실성과 분포 이탈을 줄인다.

실험 결과

연구 질문

• RQ1 학습이 없는 단순한 선택 전략이 Re-ID 일반화 성능 향상에 도움이 되는 유용한 증강 하드 예제를 효과적으로 식별할 수 있는가?
• RQ2 제안된 방법이 별도로 사용되거나 표준 데이터 증강 및 하드 예제 마이닝과 조합되었을 때, 각각의 성능은 어떻게 비교되는가?
• RQ3 약한, 중간, 강한 수준의 데이터 증강 강도에서 이 방법이 얼마나 견고한가?
• RQ4 선택 전략이 여전히 모델 성능 향상을 이끌어내는 동안 과도한 증강의 위험을 어느 정도 줄이는가?
• RQ5 아키텍처 수정 없이도 고도로 최적화된 모델에 배포 가능한가?

주요 결과

• AHEM은 VIPeR, PRID, GRID 및 i-LIDS에서 각각 순위-1 정확도를 7.4%, 12.0%, 15.2%, 6.5% 향상시켜 최신 기술 수준 성능을 달성한다.
• 단독으로 사용된 데이터 증강 및 하드 예제 마이닝보다도 성능이 뛰어나며, 이들의 조합보다도 유의미하게 뛰어나 선택 전략의 효과를 입증한다.
• 강력한 데이터 증강을 사용할 경우 제안된 방법은 성능을 유지하거나 향상시키지만, 표준 증강 기법은 성능이 떨어지므로 공격적인 증강에 대해 뛰어난 견고성을 보인다.
• 강한 증강 조건에서 원본(증강되지 않은) 하드 예제를 선택할 확률이 증가함으로써, 선택 과정이 과도하게 증강된 변형을 효과적으로 걸러내고 있음을 보여준다.
• 모든 네 개의 벤치마크 데이터셋에서 일관된 성능 향상이 이루어져 일반화 능력이 확인된다.
• 학습률 감소 이후에도 선택 전략이 효과를 유지함으로써, 훈련 전반에 걸쳐 안정적이고 신뢰할 수 있는 필터링 행동을 보임을 확인한다.