[논문 리뷰] Co-domain Embedding using Deep Quadruplet Networks for Unseen Traffic Sign Recognition

Junsik Kim, Seokju Lee외 2명|arXiv (Cornell University)|2017. 12. 05.

Infrastructure Maintenance and Monitoring인용 수 8

한 줄 요약

이 논문은 사전 학습된 합성 템플릿과 실제 이미지 간의 공통 도메인 임베딩 공간을 학습하여, 합성 템플릿과 실제 도메인 이미지를 정렬함으로써, 새로운 지리적 도메인에서 레이블이 부족한 경우에도 미리 보지 않은 교통 표지 인식을 위한 딥 쿼드럽렛 네트워크를 제안한다. 사전 학습된 쿼드럽렛 손실을 활용하여 특징 일반화 능력을 향상시킨다. 이 방법은 소수의 샘플로 학습하는 경우, 특히 새로운 클래스에서 최신 기술(SOTA) 성능을 달성하며, 세 가지 데이터셋에서 본래의 클래스와 새로운 클래스 양쪽 모두에서 트리플릿 기반 및 베이스라인 모델보다 유의미한 성능 향상을 보였다.

ABSTRACT

Recent advances in visual recognition show overarching success by virtue of large amounts of supervised data. However,the acquisition of a large supervised dataset is often challenging. This is also true for intelligent transportation applications, i.e., traffic sign recognition. For example, a model trained with data of one country may not be easily generalized to another country without much data. We propose a novel feature embedding scheme for unseen class classification when the representative class template is given. Traffic signs, unlike other objects, have official images. We perform co-domain embedding using a quadruple relationship from real and synthetic domains. Our quadruplet network fully utilizes the explicit pairwise similarity relationships among samples from different domains. We validate our method on three datasets with two experiments involving one-shot classification and feature generalization. The results show that the proposed method outperforms competing approaches on both seen and unseen classes.

연구 동기 및 목표

• 레이블이 부족한 새로운 지리적 도메인에서 새로운 교통 표지 인식의 과제를 해결하기 위해.
• 각 클래스의 대표적 앵커로 공식 합성 템플릿을 활용하여, 한 개의 실사 이미지만으로도 1-shot 분류를 가능하게 하기 위해.
• 쿼드럽렛 학습을 통해 실제 도메인과 합성 도메인을 함께 임베딩함으로써, 데이터가 적은 환경에서의 일반화 능력을 향상시키기 위해.
• 대규모 레이블이 부여된 데이터셋에 의존하는 것을 줄이고, 새로운 환경에 대해 비용이 많이 드는 재학습을 피하기 위해.
• 새로운 클래스로 잘 일반화되는 간단하면서도 효과적인 딥 메트릭 학습 프레임워크를 개발하기 위해.

제안 방법

• 이 방법은 깊이 있는 신경망을 활용하여, 실제 이미지와 합성 템플릿을 공유된 메트릭 공간으로 매핑하는 두 개의 비선형 변환 함수를 학습한다.
• 쿼드럽렛 손실 함수를 사용하며, 네 개의 샘플 간의 상대적 유사성 제약 조건을 강제한다: 실제 쿼리, 같은 클래스의 양성 실제 샘플, 같은 클래스의 양성 합성 템플릿, 다른 클래스의 음성 합성 템플릿.
• 쿼드럽렛 손실은 실제 샘플이 해당 클래스의 합성 템플릿에 더 가까이 오게 하고, 음성 템플릿에서 멀어지게 하여 분류 성능를 향상시킨다.
• 모델는 허프만 손실과 마진을 활용한 엔드 투 엔드 학습을 통해 일반화 능력을 향상시키기 위해, 대규모 마진 근접 이웃 학습 기반의 방식을 따르며, 허프만 손실을 사용한다.
• 분류 작업은 학습된 합성 템플릿 앵커를 기반으로 공유된 임베딩 공간에서 가장 가까운 이웃 탐색을 통해 수행된다.
• 이 접근법은 실제 도메인과 합성 도메인 간의 관계를 공통 임베딩을 통해 명시적으로 모델링함으로써 도메인 적응을 지원한다.

실험 결과

연구 질문

• RQ1 각 클래스에 단 한 개의 실사 이미지만 존재할 경우, 딥 메트릭 학습 프레임워크가 새로운 교통 표지 클래스로 효과적으로 일반화될 수 있는가?
• RQ2 도메인 이동이 존재하는 소수의 샘플로 학습하는 교통 표지 인식에서, 쿼드럽렛 기반 학습은 트리플릿 기반 또는 쌍별 방법보다 어떻게 비교되는가?
• RQ3 합성 템플릿과 실제 이미지 간의 공통 도메인 임베딩이 데이터가 적은 환경에서 특징의 일반화 능력을 향상시키는가?
• RQ4 대표적인 합성 템플릿을 앵커로 사용하는 것이, 제한된 예시로만 학습된 모델보다 더 높은 성능을 낼 수 있는가?
• RQ5 쿼드럽렛 손실이 본래의 클래스와 새로운 클래스 양쪽에서 모델의 강건성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 쿼드럽렛 기반 방법은 모든 데이터셋에서 새로운 클래스 인식 설정에서 모든 경쟁 방법보다 뛰어난 성능을 보이며, 모든 데이터셋에서 가장 낮은 오차율을 기록했다.
• GTSRB-all 데이터셋에서, 10개의 샘플 per 클래스로 학습했을 때 2.87%의 오차율을 기록했으며, 이는 두 번째로 좋은 성능을 낸 Triplet-DA(5.05%)보다 유의미하게 뛰어났다.
• TT100k-c 데이터셋에서, 20개의 샘플 per 클래스로 학습했을 때 4.33%의 오차율을 기록했으며, 본래의 클래스에서 강력한 성능을 보였던 IdsiaNet(4.23%)를 새로운 클래스 영역에서 뛰어넘었다.
• 학습 데이터가 10개의 샘플 per 클래스로 제한되었을 때, 기준 모델보다 1.5~2.5%의 성능 격차를 보이며 뛰어난 일반화 능력을 보였다.
• 합성 템플릿을 앵커로 사용함으로써 정규화 효과가 발생하여, 본래의 클래스에 과적합되는 것을 방지하고 제로샷 일반화 능력을 향상시켰다.
• 학습 샘플 수가 적을 경우, 더 풍부한 쌍별 관계를 제공하므로 쿼드럽렛 방법이 트리플릿 기반 방법보다 더 잘 일반화된다.