[논문 리뷰] From Zero-shot Learning to Conventional Supervised Classification: Unseen Visual Data Synthesis

Yang Long, Li Liu외 4명|arXiv (Cornell University)|2017. 05. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 35

한 줄 요약

이 논문은 실재 이미지가 없이도 의미적 속성만을 사용하여 미사용 클래스에 대한 고품질의 시각적 특징을 생성하는 새로운 제로샷 러닝(ZSL) 프레임워크인 Unseen Visual Data Synthesis(UVDS)를 제안한다. 특징 분산과 학습 편향을 균형 잡기 위해 디퓨전 정규화를 도입함으로써 UVDS는 ZSL을 전통적인 지도 학습 분류로 전환하여 네 개의 벤치마크 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

Robust object recognition systems usually rely on powerful feature extraction mechanisms from a large number of real images. However, in many realistic applications, collecting sufficient images for ever-growing new classes is unattainable. In this paper, we propose a new Zero-shot learning (ZSL) framework that can synthesise visual features for unseen classes without acquiring real images. Using the proposed Unseen Visual Data Synthesis (UVDS) algorithm, semantic attributes are effectively utilised as an intermediate clue to synthesise unseen visual features at the training stage. Hereafter, ZSL recognition is converted into the conventional supervised problem, i.e. the synthesised visual features can be straightforwardly fed to typical classifiers such as SVM. On four benchmark datasets, we demonstrate the benefit of using synthesised unseen data. Extensive experimental results suggest that our proposed approach significantly improve the state-of-the-art results.

연구 동기 및 목표

• 실재 학습 이미지가 없는 상태에서 미사용 시각적 클래스를 인식하는 문제를 해결하기 위해.
• 기존 ZSL 방법의 한계, 즉 구조적 차이, 학습 편향, 특징 임bedding에서의 분산 감쇠를 극복하기 위해.
• SVM과 같은 전통적인 지도 학습 분류기 사용을 가능하게 하기 위해, 미사용 클래스에 대한 합성 시각적 특징을 생성하기 위해.
• 구조적이고 분산이 균형 잡힌 특징 합성 방식을 통해 제로샷 인식의 일반화 능력과 성능을 향상시키기 위해.

제안 방법

• UVDS 프레임워크는 잠재 구조 유지 임베딩 공간을 사용하여 의미적 속성에서 시각적 특징을 합성한다.
• 특징 차원 간 분산을 균형 잡기 위해 정규 직교 회전 문제를 해결하는 새로운 디퓨전 정규화(DR) 구성 요소를 도입한다.
• 기존 클래스와 미사용 클래스 간의 구조적 차이와 학습 편향을 줄이기 위해 임베딩 과정을 최적화한다.
• 전역 정규화와 디퓨전 정규화를 결합한 정규화된 회귀 접근 방식을 사용하여 특징 학습을 안정화한다.
• 합성된 특징은 최근접 이웃 분류와 SVM을 사용하여 평가되어 표준 지도 학습 파이프라인과의 호환성을 입증한다.
• 프레임워크는 클래스 수준과 이미지 수준의 속성 설정 모두에서 평가되어 다양한 시나리오에서의 강건성을 보여준다.

실험 결과

연구 질문

• RQ1 실재 이미지가 없이 의미적 속성만을 사용하여 미사용 클래스의 시각적 특징을 효과적으로 합성할 수 있는가?
• RQ2 제로샷 러닝에서 일반화 능력을 향상시키기 위해 특징 임베딩 공간에서의 분산 감쇠를 어떻게 완화할 수 있는가?
• RQ3 제안된 디퓨전 정규화가 기준선 선형 회귀 방법에 비해 학습 편향을 얼마나 줄이고 성능을 향상시키는가?
• RQ4 합성된 시각적 특징은 SVM과 같은 전통적인 지도 학습 분류기에서 효과적으로 사용될 수 있는가?

주요 결과

• UVDS는 네 개의 벤치마크 데이터셋에서 최신 기술(SOTA) ZSL 방법보다 뚜렷이 뛰어난 성능을 보이며 가장 높은 인식률을 달성한다.
• 제안된 디퓨전 정규화는 특징 차원 간 분산을 효과적으로 균형 잡아 합성된 특징이 더 정보량이 많고 강건함을 입증한다.
• 정규화 없이 선형 회귀를 사용한 경우에 비해 평균 30%의 학습 편향 감소를 기록하여 기존 클래스에서 미사용 클래스로의 일반화 능력 향상에 기여한다.
• CUB 데이터셋에서 합성된 특징는 45.72%의 인식률을 기록하여 미세한 차이를 인식하는 과제에서도 뛰어난 성능을 보였다.
• 클래스 수준과 이미지 수준의 속성 설정 모두에서 안정적인 성능을 보였으며, 두 시나리오 간 유의미한 성능 차이가 없었다.
• 정성적 결과에서는 합성된 특징를 사용한 최근접 이웃 검색이 80%의 성공 사례에서 동일한 클래스의 실재 이미지를 검색해내어 특징 품질을 확인했다.