[논문 리뷰] Multi-modal Ensemble Classification for Generalized Zero Shot Learning

Rafael Felix, Michele Sasdelli외 2명|arXiv (Cornell University)|2019. 01. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 17

한 줄 요약

이 논문은 일반화된 제로샷 학습(GZSL)을 위한 다중모달 앙상블 분류 프레임워크를 제안하며, 훈련 및 추론 과정에서 시각적 및 의미적 분류기를 함께 최적화한다. 베이지안 추론을 통해 몬테카를로 드롭아웃과 학습 가능한 校정된 스태킹 방법을 사용한다. 이 방법은 CUB 및 FLO와 같은 세분화된 데이터셋에서 H-mean을 최대 2.1%p 향상시켜 최신 기준 성능을 달성한다.

ABSTRACT

Generalized zero shot learning (GZSL) is defined by a training process containing a set of visual samples from seen classes and a set of semantic samples from seen and unseen classes, while the testing process consists of the classification of visual samples from seen and unseen classes. Current approaches are based on testing processes that focus on only one of the modalities (visual or semantic), even when the training uses both modalities (mostly for regularizing the training process). This under-utilization of modalities, particularly during testing, can hinder the classification accuracy of the method. In addition, we note a scarce attention to the development of learning methods that explicitly optimize a balanced performance of seen and unseen classes. Such issue is one of the reasons behind the vastly superior classification accuracy of seen classes in GZSL methods. In this paper, we mitigate these issues by proposing a new GZSL method based on multi-modal training and testing processes, where the optimization explicitly promotes a balanced classification accuracy between seen and unseen classes. Furthermore, we explore Bayesian inference for the visual and semantic classifiers, which is another novelty of our work in the GZSL framework. Experiments show that our method holds the state of the art (SOTA) results in terms of harmonic mean (H-mean) classification between seen and unseen classes and area under the seen and unseen curve (AUSUC) on several public GZSL benchmarks.

연구 동기 및 목표

• 기존 방법에서 지속적인 문제로 지적되는 본질적 불균형 문제인, 본문에서 본 클래스와 본 적 없는 클래스 간 분류 정확도의 불균형을 해결한다.
• 훈련 과정에서는 사용되지만 추론 과정에서 시각적 및 의미적 모odal이 충분히 활용되지 않는 문제를 해결한다.
• 개별 ZSL 또는 GZSL 모델이 필요 없이 본문에서 본 클래스와 본 적 없는 클래스 간 균형 잡힌 성능을 최적화할 수 있는 통합 학습 프레임워크를 개발한다.
• 단일 하이퍼파rameter를 조정하여 ZSL에서 완전히 지도학습에 이르는 다양한 운영 포인트에 대한 탄력적 배포를 가능하게 한다.
• 몬테카를로 드롭아웃을 통한 베이지안 앙상블 학습을 통해 두 모달 모두에서 일반화 능력과 강건성을 향상시킨다.

제안 방법

• 본문에서 본 클래스의 시각적 특징과 본 적 없는 클래스의 의미적 속성을 포함한 다중모달 데이터를 사용해 시각적 및 의미적 분류기를 별도로 훈련한다.
• 몬테카를로(MC) 드롭아웃을 시각적 및 의미적 분류기에 적용하여 불확실성 추정 및 앙상블 기반 예측을 가능하게 한다.
• 본문에서 본 클래스와 본 적 없는 클래스의 정확도 간 조화평균(H-mean)을 최적화하도록 학습 가능한 校정된 스태킹 방법을 통해 두 분류기의 출력을 결합한다.
• 본문에서 본 클래스와 본 적 없는 클래스의 성능 균형을 제어하기 위해 하이퍼파rameter β를 도입하여, 재학습 없이도 ZSL 및 GZSL 모드 간의 보간이 가능하게 한다.
• 검증 세트를 사용해 최적의 α(모달 융합 가중치)와 β(본문에서 본/본 적 없는 클래스 성능 간 균형)를 학습함으로써 테스트 데이터에 대해 잘 일반화되는 모델을 최적화한다.
• 시각적 특징의 보완을 위해 사이클-WGAN 기반 데이터 증강 기법을 사용하고, 분류기 가중치 조정을 병행하여 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 추론 과정에서 시각적 및 의미적 두 모달을 모두 활용하는 다중모달 앙상블 접근법이, 단일 모달 또는 단일 모달 훈련 방법보다 GZSL에서 더 뛰어난 성능을 내는가?
• RQ2 본문에서 본 클래스와 본 적 없는 클래스 간 균형 잡힌 성능을 명시적으로 최적화하면 H-mean 및 본문에서 본-본 적 없는 클래스 곡선 아래 면적(AUSUC) 지표가 향상되는가?
• RQ3 단일 통합 모델을 GZSL용으로 훈련시켜도, 단일 하이퍼파rameter를 통해 재구성하여 ZSL 및 완전히 지도학습 설정 모두에서 뛰어난 성능을 낼 수 있는가?
• RQ4 몬테카를로 드롭아웃을 통한 베이지안 앙상블 학습은 표준 분류기 대비 제로샷 분류에서 강건성과 일반화 능력을 어떻게 향상시키는가?
• RQ5 기존 GZSL 방법들이 본문에서 본 클래스 쪽으로 강한 편향을 보이는 이유는 무엇이며, 균형 잡힌 성능 최적화를 통해 이를 완화할 수 있는가?

주요 결과

• 제안된 3ME 방법은 CUB 데이터셋에서 기존 최고 성능인 52.2%에서 54.3%로 H-mean을 향상시켜 새로운 최고 기록을 달성한다.
• FLO 데이터셋에서는 H-mean이 64.5%에서 66.8%로 향상되어 세분화된 제로샷 학습에서 뚜렷한 성과 향상을 보였다.
• SUN(39.4%) 및 AwA(60.2%) 데이터셋에서도 최신 기준 성능을 달성하였으며, 군집화된 데이터셋에서는 기존 최고 성능에 비해 약간의 향상이 있었다.
• 제로샷 학습(ZSL) 상황에서는 CUB에서 71.1%의 정확도, FLO에서는 83.9%의 정확도를 기록하여 이전 최고 성능인 57.8% 및 68.8%를 크게 상회했다.
• 모든 평가된 데이터셋에서 최고의 AUSUC 점수를 기록하여 본문에서 본 클래스와 본 적 없는 클래스 간 성과의 트레이드오프 전반에 걸쳐 뛰어난 종합 성능을 입증했다.
• 학습 가능한 β를 갖춘 校정된 스태킹 메커니즘 덕분에 재학습 없이도 ZSL 및 GZSL 모드 간 동적 적응이 가능했으며, 두 영역 모두에서 고성능을 유지했다.