[논문 리뷰] Vocabulary-informed Extreme Value Learning

Yanwei Fu, Hanze Dong외 3명|arXiv (Cornell University)|2017. 05. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 4

한 줄 요약

이 논문은 극단가치이론과 개방형 어휘 사전을 활용하여 시각적 특징을 확률적 의미 공간으로 매핑하는 새로운 의미 임베딩 프레임워크인 Vocabulary-informed Extreme Value Learning (ViEVL)을 제안한다. 클래스 간 거리와 커버리지 분포를 모델링함으로써, ViEVL은 지도 학습, 제로샷 인식, 오픈세트 인식에서 통합된 성능을 달성하며, 기준 데이터셋에서 최신 기술 수준의 성능을 보였다.

ABSTRACT

The novel unseen classes can be formulated as the extreme values of known classes. This inspired the recent works on open-set recognition \cite{Scheirer_2013_TPAMI,Scheirer_2014_TPAMIb,EVM}, which however can have no way of naming the novel unseen classes. To solve this problem, we propose the Extreme Value Learning (EVL) formulation to learn the mapping from visual feature to semantic space. To model the margin and coverage distributions of each class, the Vocabulary-informed Learning (ViL) is adopted by using vast open vocabulary in the semantic space. Essentially, by incorporating the EVL and ViL, we for the first time propose a novel semantic embedding paradigm -- Vocabulary-informed Extreme Value Learning (ViEVL), which embeds the visual features into semantic space in a probabilistic way. The learned embedding can be directly used to solve supervised learning, zero-shot and open set recognition simultaneously. Experiments on two benchmark datasets demonstrate the effectiveness of proposed frameworks.

연구 동기 및 목표

• 기존 오픈세트 인식 방법이 새로운, 알려지지 않은 클래스를 이름 지으려 하거나 의미적으로 기술할 수 없는 한계를 해결한다.
• 의미 공간 내에서 극단값으로 간주함으로써 새로운 클래스를 의미적으로 기술하고 이름을 지을 수 있도록 모델링한다.
• 지도 학습, 제로샷 인식, 오픈세트 인식을 동시에 지원하는 통합 학습 프레임워크를 개발한다.
• 의미적으로 더 강력하고 의미 있는 방식으로 클래스 분포를 모델링하기 위해 광범위한 개방형 어휘 의미 사전을 활용한다.
• 시각적 특징을 의미 공간으로 매핑하면서 간격과 커버리지 분포를 모두 포괄하는 확률적 임베딩 방법을 제안한다.

제안 방법

• 기존 클래스의 극단값으로 새로운 클래스를 모델링함으로써, 극단가치이론(EVT)을 활용해 분포를 모델링한다.
• 의미 공간 내에서 클래스 간 거리와 커버리지 분포를 모델링하기 위해 대규모 개방 어휘를 활용한 Vocabulary-informed Learning (ViL)을 도입한다.
• Extreme Value Learning (EVL)과 ViL을 결합하여 확률적 시각-의미 공간 매핑이 가능한 ViEVL 프레임워크를 구축한다.
• 의미 공간의 분포를 활용해 샘플이 알려진 클래스에 속할 가능성 또는 새로운 극단 클래스에 속할 가능성의 정도를 추정한다.
• 불확실성 인식 표현을 갖춘 종단간(end-to-end) 학습을 통해 시각적 특징을 의미 공간에 임베딩한다.
• 결과로 도출된 임베딩 공간을 지도 학습, 제로샷 인식, 오픈세트 인식 작업에서 직접 활용한다.

실험 결과

연구 질문

• RQ1 의미 공간 내에서 새로운 클래스를 극단값으로 효과적으로 모델링하여 의미적으로 이름을 지을 수 있는가?
• RQ2 개방형 어휘 사전은 시각 인식에서 클래스 분포 모델링의 강건성과 의미적 해석 가능성에 어떻게 기여하는가?
• RQ3 통합 프레임워크가 지도 학습, 제로샷 인식, 오픈세트 인식을 동시에 얼마나 잘 지원할 수 있는가?
• RQ4 의미 공간으로의 확률적 임베딩은 알려진 카테고리 외의 새로운 클래스로의 일반화를 어떻게 향상시킬 수 있는가?
• RQ5 기존 클래스의 간격과 커버리지 분포를 명시적으로 모델링함으로써 새로운 클래스의 탐지 및 표현은 어떻게 향상되는가?

주요 결과

• 제안된 ViEVL 프레임워크는 제로샷 및 오픈세트 인식을 위한 두 가지 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 새로운 클래스를 극단값으로 모델링함으로써, 이전의 오픈세트 인식 접근 방식에서 부재했던 의미적 이름 지정 기능을 실현한다.
• 개방형 어휘 사전의 통합은 모델이 새로운 클래스를 더 잘 표현하고 일반화할 수 있는 능력을 크게 향상시킨다.
• 확률적 임베딩 공간은 재학습이나 적응 없이도 여러 인식 패러다임에서 직접 활용 가능하다.
• 클래스 커버리지 및 간격 분포를 명시적으로 모델링함으로써, 분포 외 샘플의 일반화 및 탐지 능력이 향상됨을 입증했다.
• 실험 결과는 ViEVL이 기존 방법들보다 제로샷 및 오픈세트 인식 기준에서 모두 뛰어난 성능을 보임을 확인한다.