[논문 리뷰] Transductive Zero-Shot Learning with a Self-training dictionary approach

Yunlong Yu, Zhong Ji외 5명|arXiv (Cornell University)|2017. 03. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 5

한 줄 요약

이 논문은 신뢰할 수 있는 미사용 인스턴스를 기반으로 반복적으로 예측을 개선하는 자기학습 전략을 사용하여 일반화 능력을 향상시키는 이행적 제로샷 학습 방법 TSTD를 제안한다. 이중 사전 모델을 통해 이미지 특징과 레이블 임베딩을 공통의 잠재 공간에 동시에 투영함으로써 의미 간 격차와 도메인 이동을 줄이며, 시각적 속성을 사용하여 AwA(90.3%)와 CUB(58.2%)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

As an important and challenging problem in computer vision, zero-shot learning (ZSL) aims at automatically recognizing the instances from unseen object classes without training data. To address this problem, ZSL is usually carried out in the following two aspects: 1) capturing the domain distribution connections between seen classes data and unseen classes data; and 2) modeling the semantic interactions between the image feature space and the label embedding space. Motivated by these observations, we propose a bidirectional mapping based semantic relationship modeling scheme that seeks for crossmodal knowledge transfer by simultaneously projecting the image features and label embeddings into a common latent space. Namely, we have a bidirectional connection relationship that takes place from the image feature space to the latent space as well as from the label embedding space to the latent space. To deal with the domain shift problem, we further present a transductive learning approach that formulates the class prediction problem in an iterative refining process, where the object classification capacity is progressively reinforced through bootstrapping-based model updating over highly reliable instances. Experimental results on three benchmark datasets (AwA, CUB and SUN) demonstrate the effectiveness of the proposed approach against the state-of-the-art approaches.

연구 동기 및 목표

• 학습된 본문 클래스에서 미사용 클래스로 일반화에 실패하는 제로샷 학습(ZSL)에서의 도메인 이동 문제를 해결한다.
• 공유 잠재 공간을 학습하여 이미지 특징와 의미론적 레이블 임베딩 간의 다중모달 정렬을 향상시킨다.
• 정적이고 노이즈가 많고 희박한 레이블 임베딩의 한계를 극복하기 위해 신뢰할 수 있는 자기 레이블링된 미사용 인스턴스를 반복적으로 예측을 개선함으로써 개선한다.
• 고신뢰도 예측을 기반으로 재학습하는 부트스트랩 기반의 재학습을 통해 모델 용량을 향상시키는 이행적 프레임워크를 개발한다.
• 이중 의미 모델링과 반복적 자기학습을 결합하여 벤치마크 ZSL 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 이중 사전 모델을 제안하여 이미지 특징와 레이블 임베딩을 동시에 공통의 잠재 공간에 투영함으로써 다중모달 의미 관계를 유지한다.
• ZSL 문제를 이행적 학습 과제로 설정하여, 미사용된 레이블이 없는 인스턴스를 반복적으로 모델 개선에 활용한다.
• 반복적인 이중 단계 프레임워크를 구현한다: (1) 예측 학습(현재 모델로 미사용 데이터 분류), (2) 예측 학습(고신뢰도 예측을 사용해 모델 재학습).
• 자기 레이블링 비율 임계값 δ를 사용하여 재학습에 사용되는 고신뢰도 예측의 비율을 제어하여 신뢰할 수 있는 인스턴스만 선택한다.
• 부트스트랩 기반의 모델 업데이트를 적용하여 가장 확신 있는 예측에 기반해 점진적으로 분류 능력을 향상시킨다.
• 기존의 인덕티브 모델들(예: JEDM, CCA, ESZSL)에 자기학습 전략을 적용하여 성능을 향상시키는 방식으로 방법을 통합한다.

실험 결과

연구 질문

• RQ1 이중 사전 모델이 이미지 특징와 레이블 임베딩을 공통의 잠재 공간에 동시에 투영함으로써 의미 간 격차를 효과적으로 줄이고 다중모달 정렬을 향상시킬 수 있는가?
• RQ2 신뢰도 기반으로 선택된 미사용 레이블이 없는 인스턴스를 사용한 반복적 자기학습은 단일 패assing 이행적 방법에 비해 모델 일반화 능력을 어떻게 향상시키는가?
• RQ3 신뢰할 수 있는 예측을 점진적으로 개선함으로써 제안된 이행적 프레임워크는 제로샷 학습에서 도메인 이동 문제를 얼마나 효과적으로 완화할 수 있는가?
• RQ4 자기 레이블링 비율 δ는 모델 성능에 어떤 영향을 미치며, 노이즈를 유발하지 않으면서 성능 향상을 보장하는 최적의 임계값은 무엇인가?
• RQ5 제안된 방법은 AwA, CUB, SUN과 같은 표준 벤치마크에서 기존의 최신 기술 수준의 이행적 ZSL 접근법을 초월하는가?

주요 결과

• 제안된 TSTD 방법은 시각적 속성을 사용하여 AwA 데이터셋에서 90.3%의 정확도를 달성하여 2위 방법보다 2.4个百分点 높은 성능을 보였다.
• CUB 데이터셋에서는 시각적 속성을 사용하여 TSTD가 58.2%의 정확도를 기록했으며, 2위 방법보다 4.7个百分点 향상된 성능을 보였다.
• 시각적 속성을 사용할 경우, 자기학습 전략은 기초 JEDM 모델의 성능을 AwA에서 10.6个百分点, CUB에서 3.0个百分点 향상시켰다.
• AwA에서 δ = 0.8일 때 성능이 최고에 도달하여, 초기 예측이 신뢰할 만할 경우 높은 자기 레이블링 비율이 모델의 성숙도를 높인다는 것을 시사한다.
• CUB에서는 δ = 0.6(속성) 및 δ = 0.4(어휘 벡터)에서 성능이 최고에 도달하여, 초기 모델 성능이 열악할 경우 낮은 임계값이 더 효과적임을 나타낸다.
• 반복적 자기학습 프레임워크는 인덕티브 모델의 일반화 능력을 크게 향상시켰으며, 고신뢰도 예측을 점진적으로 개선함으로써 도메인 이동을 줄이는 데 효과적임을 입증한다.