[논문 리뷰] Hard-Aware Deeply Cascaded Embedding

Yuhui Yuan, Kuiyuan Yang외 1명|arXiv (Cornell University)|2016. 11. 17.

Advanced Image and Video Retrieval Techniques참고 문헌 44인용 수 10

한 줄 요약

이 논문은 복잡도가 점점 증가하는 다수의 딥 메트릭 학습 모델을 단계적으로 연결하여 예측의 어려움 수준에 따라 어려운 예제를 적응적으로 채굴하는 새로운 프레임워크인 하드-어웨어 딥리어리드 캐스케이드드 임베딩(HDC)을 제안한다. 순차적으로 모델을 훈련하고 각 모델이 어려운 것으로 간주하는 샘플들만에 대해 역전파를 수행함으로써 HDC는 일반화 성능을 향상시키고, CARS196에서 Recall@1이 83.8%이고 스탠포드 온라인 프로덕츠에서 70.1%인 다섯 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 다중 크롭 테스팅 조건에서 성능을 확보하였다.

ABSTRACT

Riding on the waves of deep neural networks, deep metric learning has also achieved promising results in various tasks using triplet network or Siamese network. Though the basic goal of making images from the same category closer than the ones from different categories is intuitive, it is hard to directly optimize due to the quadratic or cubic sample size. To solve the problem, hard example mining which only focuses on a subset of samples that are considered hard is widely used. However, hard is defined relative to a model, where complex models treat most samples as easy ones and vice versa for simple models, and both are not good for training. Samples are also with different hard levels, it is hard to define a model with the just right complexity and choose hard examples adequately. This motivates us to ensemble a set of models with different complexities in cascaded manner and mine hard examples adaptively, a sample is judged by a series of models with increasing complexities and only updates models that consider the sample as a hard case. We evaluate our method on CARS196, CUB-200-2011, Stanford Online Products, VehicleID and DeepFashion datasets. Our method outperforms state-of-the-art methods by a large margin.

연구 동기 및 목표

• 모델에 따라 정의되는 어려운 수준에 기인한 과적합 및 과소적합 문제를 해결하기 위해.
• 샘플의 어려움 수준에 따라 적절한 모델 복잡도를 동적으로 할당하는 방법을 개발하기 위해.
• 단계적 모델을 통해 다수 수준의 어려운 예제 채굴을 가능하게 하여 딥 메트릭 학습의 일반화 성능을 향상시키기 위해.
• 최소한의 하이퍼파라미터 튜닝으로 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하기 위해.

제안 방법

• 깊이가 점점 증가하는 여러 딥 메트릭 모델을 단계적으로 연결한다. 초기에는 얕은 네트워크에서 시작한다.
• 각 샘플은 단계적으로 순차적으로 처리되며, 첫 번째 모델이 이를 쉽게 간주하면 훈련이 중단된다.
• 샘플을 어려운 것으로 간주하는 모델들만에 대해 역전파 업데이트를 수행함으로써 효율적이고 타겟된 학습을 보장한다.
• 모델 간에 초기 레이어의 특징을 공유함으로써 계산의 중복을 줄인다.
• 각 모델 내부에서는 대비, 트리플릿 또는 기타 메트릭 학습 손실 함수를 사용하며, 각 모델 수준에서 어려운 케이스에 대해서만 훈련이 집중된다.
• K개의 단계적 모델을 지원하는 유연한 구성이 가능하며, 다양한 손실 함수와도 조합 가능하다.

실험 결과

연구 질문

• RQ1 복잡도가 점점 증가하는 단계적 모델이 샘플의 어려움 수준에 맞춰 적응적으로 어려운 예제 채굴을 향상시킬 수 있는가?
• RQ2 모델에 따라 정의되는 어려운 수준 정의 방식은 최적의 훈련을 방해하는가? 그리고 다수 수준의 채굴 방식으로 이를 완화할 수 있는가?
• RQ3 단일 모델 기반의 어려운 예제 채굴보다 단계적 아키텍처가 다양한 데이터셋에서 더 우수한 일반화 성능을 달성할 수 있는가?
• RQ4 경계 상자나 다중 크롭 테스팅 여부와 같은 다양한 설정에서 제안된 방법이 최신 기술 수준(SOTA) 방법과 어떻게 비교되는가?

주요 결과

• CARS196에서 HDC는 Recall@1이 83.8%를 기록하여 이전 최신 기술 수준(SOTA) 방법 대비 26.4%의 절대적 향상을 달성했다.
• CUB-200-2011에서 HDC는 이전 최신 기술 수준(SOTA) 대비 Recall@1을 2.4% 향상시켜 미세한 레벨의 인식 성능에서 강력한 성능을 입증했다.
• 스탠포드 온라인 프로덕츠에서 HDC는 다중 크롭 테스팅 조건에서 Recall@1이 70.1%를 기록했으며, 이는 이전 SOTA 대비 4%의 절대적 향상이다.
• 경계 상자를 사용하지 않은 조건에서 CARS196에서 경계 상자 기반 방법들을 초월하는 성능을 보이며 배경 잡음에 대한 강력한 내성성을 입증했다.
• VehicleID에서 HDC는 대규모 서브셋에서 65.5%의 MAP를 기록했으며, 이는 이전 방법들인 Mixed Diff + CCL(57.5% MAP)를 크게 능가하는 성능이다.
• DeepFashion 및 스탠포드 온라인 프로덕츠와 같은 다양한 데이터셋에서 일관된 최신 기술 수준(SOTA) 성능을 기록하며, 다양한 평가 프로토콜에서도 뛰어난 일반화 성능을 보였다.