[논문 리뷰] Discriminative Learning of Latent Features for Zero-Shot Recognition

Yan Li, Junge Zhang외 2명|arXiv (Cornell University)|2018. 03. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 30

한 줄 요약

이 논문은 제로샷 인식을 위한 종단간(end-to-end) 딥러닝 프레임워크인 잠재 특징(Latent Discriminative Features, LDF)을 제안한다. 이 프레임워크는 비지도 학습을 통해 구분 가능한 시각적 영역과 잠재 의미적 특징을 동시에 학습한다. 계단식 줌 네트워크를 사용하여 객체 중심 영역에 집중하고, 카테고리 순위 매기기 손실을 통해 구분 가능한 잠재 특징을 학습함으로써, 미사용된 클래스에 대한 일반화 성능을 향상시켜 AwA 및 CUB 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Zero-shot learning (ZSL) aims to recognize unseen image categories by learning an embedding space between image and semantic representations. For years, among existing works, it has been the center task to learn the proper mapping matrices aligning the visual and semantic space, whilst the importance to learn discriminative representations for ZSL is ignored. In this work, we retrospect existing methods and demonstrate the necessity to learn discriminative representations for both visual and semantic instances of ZSL. We propose an end-to-end network that is capable of 1) automatically discovering discriminative regions by a zoom network; and 2) learning discriminative semantic representations in an augmented space introduced for both user-defined and latent attributes. Our proposed method is tested extensively on two challenging ZSL datasets, and the experiment results show that the proposed method significantly outperforms state-of-the-art methods.

연구 동기 및 목표

• 기존의 제로샷 러닝(ZSL) 방법이 비구분 가능한 시각적 표현과 의미적 표현에 의존하는 한계를 해결한다.
• 수동으로 설계하거나 사전 학습된 이미지 특징과 인간이 정의한 특징에 의존하는 것에서 벗어나, 새로운 클래스에 대해 구분성이 떨어질 수 있는 문제를 해결한다.
• 시각적 영역 탐지와 의미적 특징 학습을 동시에 최적화하는 통합 프레임워크를 도입하여 ZSL의 일반화 성능을 향상시킨다.
• 사용자 정의 특징이 공유되거나 비포괄적인 경우에도, 다양한 카테고리 간에 구분 가능한 잠재 특징을 학습한다.
• 종단간으로 시각적 표현과 의미적 표현을 학습할 경우, 새로운 클래스에 대한 호환성과 분류 성능이 향상됨을 입증한다.

제안 방법

• 시공간 주의 맵을 학습하여 점진적으로 객체 중심 영역에 집중하는 계단식 줸망 네트워크를 사용하여, 이미지의 가장 구분 가능한 부분에서 특징을 추출한다.
• 잠재 특징 학습 모듈을 도입하여 특징 학습을 카테고리 순위 매기기 문제로 설정함으로써, 특징 공간에서의 이종 간 거리와 내종 간 거리를 최대화 및 최소화한다.
• 사용자 정의 특징(UA)과 학습된 잠재 특징(LA)을 조합한 확장된 의미 공간을 구성하며, LA 특징은 대비 손실을 통해 구분성을 향상시킨다.
• 시각-의미 호환성, 영역 탐지, 특징의 구분성 간 균형을 맞추기 위해 통합 손실 함수를 사용하여 전체 모델을 종단간으로 훈련한다.
• 사용자 정의 특징과 잠재 특징 간의 관계를 기반으로 잠재 특징 프로토타입을 추정하여, 새로운 클래스에 대한 프로토타입 기반 예측 전략을 사용한다.
• 사전 학습된 VGG19 백본의 특징 맵을 입력으로 사용하며, 줌 네트워크는 중간 특징 활성화를 대상으로 하여 구분 가능한 영역을 국소화한다.

실험 결과

연구 질문

• RQ1 기존의 이중 단계 접근 방식과 비교해 종단간으로 시각적 표현과 의미적 표현을 학습할 경우, 제로샷 인식 성능이 향상되는가?
• RQ2 사용자 정의 특징을 초월해 구분 가능한 잠재 특징을 학습할 경우, 새로운 클래스에 대한 일반화 성능이 향상되는가?
• RQ3 바운딩 박스 애너테이션 없이도 계단식 줌 네트워크가 효과적으로 객체 중심 영역을 식별하고 집중할 수 있는가?
• RQ4 사용자 애너테이션 특징과 비교해 학습된 잠재 특징의 구분성은 이종 간 및 내종 간 거리 측면에서 어떻게 다른가?
• RQ5 시각적 영역 탐지와 잠재 특징 학습을 동시에 최적화할 경우, 시각적 공간과 의미 공간 간의 호환성은 어느 정도 향상되는가?

주요 결과

• 제안된 LDF 모델은 AwA 및 CUB 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 기존의 SOTA 방법보다 뚜렷하게 뛰어난 제로샷 인식 성능을 보였다.
• 시각화 결과에 따르면, 잠재 특징(LA)이 사용자 정의 특징(UA)보다 더 구분 가능하다는 것이 확인되었으며, LA 프로토타입 간 코사인 유사도가 서로 다른 카테고리 간에 더 낮게 나타났다.
• 바운딩 박스 애너테이션 없이도 모델이 객체 중심 영역을 성공적으로 탐지하였으며, CUB에서 전체 새를 식별함으로써 고립된 부분이 아닌 전체 개체를 인식하였다.
• 와플과 같은 카테고리에서는 배경 요소(예: 물, 오션)를 구분 가능한 영역에 포함시키며, 환경를 기술하는 사용자 정의 특징과 일치하는 경향을 보였다.
• LA 공간이 더 구분 가능하지만, UA 기반 관계를 사용한 프로토타입 추정의 편향으로 인해 AwA에서 LA 기반 모델의 성능은 UA 기반 모델보다 略적으로 낮았다.
• 제거 실험 결과, 시각적 영역과 잠재 특징을 별도로 학습하는 것보다 함께 학습할 경우 성능이 향상되었으며, 종단간 최적화의 유용성을 확인하였다.