[논문 리뷰] The Devil is in the Middle: Exploiting Mid-level Representations for Cross-Domain Instance Matching

Qian Yu, Xiaobin Chang외 3명|arXiv (Cornell University)|2017. 11. 22.

Advanced Image and Video Retrieval Techniques참고 문헌 37인용 수 80

한 줄 요약

논문은 중간 수준 CNN 특성 맵이 교차 도메인 인스턴스 매칭에 구별 가능하고 도메인 불변 정보를 포함하며 최종 계층 특징과 융합되어 FG-SBIR 및 사람 ReID에서 새로운 최적 성능을 달성한다.

ABSTRACT

Many vision problems require matching images of object instances across different domains. These include fine-grained sketch-based image retrieval (FG-SBIR) and Person Re-identification (person ReID). Existing approaches attempt to learn a joint embedding space where images from different domains can be directly compared. In most cases, this space is defined by the output of the final layer of a deep neural network (DNN), which primarily contains features of a high semantic level. In this paper, we argue that both high and mid-level features are relevant for cross-domain instance matching (CDIM). Importantly, mid-level features already exist in earlier layers of the DNN. They just need to be extracted, represented, and fused properly with the final layer. Based on this simple but powerful idea, we propose a unified framework for CDIM. Instantiating our framework for FG-SBIR and ReID, we show that our simple models can easily beat the state-of-the-art models, which are often equipped with much more elaborate architectures.

연구 동기 및 목표

• 다른 도메인에서 캡처된 객체 간의 교차 도메인 인스턴스 매칭(CDIM)을 동기 부여하고 해결한다.
• 중간 수준의 특징이 초기 CNN 계층에 존재하며 CDIM에 있어 고수준 특징과 함께 중요하다고 주장한다.
• 최종 계층 특징과 중간 표현을 융합하는 통합 아키텍처 패턴을 제안한다.
• FG-SBIR 및 사람 ReID 예시로 이 접근법을 시연하고 최첨단 결과를 달성한다.

제안 방법

• 세 부분 CDIM 설계 패턴을 제안: CNN 기본 네트워크, 융합 모듈, 손실 모듈.
• 선택한 중간 층에서 중간 수준의 특징 맵을 추출하고, 이를 중간 수준 특징 벡터로 변환하며, 최종 계층 특징과의 융합에서 차원 축소를 과도하게 수행하지 않는다.
• FG-SBIR의 경우, 공간 정보를 보존하기 위해 중간 conv5 특징 맵을 평탄화하고 최종 fc7 특징과 연결하며, 트리플렛 랭킹 손실로 학습한다.
• ReID의 경우, 중간 레벨 res5a/res5b 특징에 글로벌 평균 풀링을 적용하고, 풀링된 최상위 레이어 특징과 연결하며 소프트맥스 분류 손실로 학습한다.
• 중간 수준의 특징은 깊은 지도 학습과 작업별 풀링 전략이 필요함을 보여준다(FG-SBIR용 평탄화, ReID용 GAP).
• 중간 수준과 고수준 특징 융합이 베이스라인보다 우수한 성능을 낸다 (vanilla 최종 계층 표현 및 주의 기반 Baseline 대비).

실험 결과

연구 질문

• RQ1 CNN의 중간 계층 표현이 CDIM에 유용한 도메인 불변 구별 신호를 포함하는가?
• RQ2 최종 계층 특징과 중간 수준의 특징 맵의 간단한 융합이 더 정교한 어텐션 기반 CDIM 방법보다 성능이 더 좋게 만드는가?
• RQ3 FG-SBIR 및 사람 ReID에 대한 중간 수준 특성 융합의 효과를 극대화하는 풀링 전략과 층 선택은 무엇인가?

주요 결과

• 중간 계층의 특징 맵은 교차 도메인 매칭에 유용한 판별 가능하고 공간적으로 국지화된 신호를 담고 있다.
• 깊은 감독과 함께 중간 수준과 최종 계층 특징의 간단한 융합은 베이스라인보다 CDIM 성능을 향상시킨다.
• 제안된 접근은 FG-SBIR 데이터셋(신발, 의자, 핸드백)과 세 가지 사람 ReID 벤치마크(Market-1501, DukeMTMC_reID, CUHK03-New)에서 새로운 최첨단 결과를 달성한다.
• 작업별 풀링(FG-SBIR용 평탄화; ReID용 GAP) 및 최종 계층 근처의 중간 계층 융합이 유리하다.
• 다른 기본 네트워크(Sketch-a-Net, ResNet-50, InceptionV3)와 함께 중간 수준 특징을 사용하는 것이 일관되게 성능을 향상시켜 프레임워크의 적용 가능성을 검증한다.