[논문 리뷰] Classifying Unseen Instances by Learning Class-Independent Similarity Functions

Ziming Zhang, Venkatesh Saligrama|arXiv (Cornell University)|2015. 11. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 3

한 줄 요약

이 논문은 원천 도메인과 대상 도메인 인스턴스 간의 매칭 사후 확률을 모델링하여 제로샷 인식(ZSR)을 위한 클래스 독립적 유사도 함수를 제안한다. 사전 학습된 사전 기반의 통합 판별적 학습 프레임워크를 사용하여 네 개의 벤치마크 데이터셋에서 최신 기술 대비 4.90%의 정확도 향상을 달성하고, 제로샷 검색 mAP를 22.45% 향상시킨다.

ABSTRACT

Zero-shot recognition (ZSR) deals with the problem of predicting class labels for target domain instances based on source domain side information (e.g. attributes) of unseen classes. We formulate ZSR as a binary prediction problem. Our resulting classifier is class-independent. It takes an arbitrary pair of source and target domain instances as input and predicts whether or not they come from the same class, i.e. whether there is a match. We model the posterior probability of a match since it is a sufficient statistic and propose a latent probabilistic model in this context. We develop a joint discriminative learning framework based on dictionary learning to jointly learn the parameters of our model for both domains, which ultimately leads to our class-independent classifier. Many of the existing embedding methods can be viewed as special cases of our probabilistic model. On ZSR our method shows 4.90\% improvement over the state-of-the-art in accuracy averaged across four benchmark datasets. We also adapt ZSR method for zero-shot retrieval and show 22.45\% improvement accordingly in mean average precision (mAP).

연구 동기 및 목표

• 속성과 같은 원천 도메인의 부가 정보만을 사용하여 미리 보지 않은 클래스를 분류해야 하는 제로샷 인식(ZSR)의 과제를 해결한다.
• 기존 방법의 한계를 극복하기 위해 ZSR을 클래스 독립적 이진 매칭 예측 문제로 재정의한다.
• 원천 도메인과 대상 도메인 양쪽의 유사도 함수를 동시에 학습할 수 있는 통합 확률 모델을 개발한다.
• 클래스 식별에 관계없이 유사도 함수를 학습시켜 일반화 능력을 향상시킨다.
• 제로샷 검색으로의 확장성을 고려하여 평균 평균 정확도(mAP) 향상을 초월하는 성능 향상을 달성한다.

제안 방법

• ZSR을 이진 분류 작업으로 재정의하여 원천-대상 인스턴스 쌍이 같은 클래스에 속하는지 예측한다.
• 매칭의 사후 확률을 결정 내리는 데 필요한 통계량으로 모델링한다.
• 클래스에 종속되지 않는 인스턴스 간의 유사도를 포괄하는 잠재 확률 모델을 제안한다.
• 원천 도메인과 대상 도메인 양쪽의 매개변수를 동시에 최적화하기 위해 사전 학습 기반의 통합 판별적 학습 프레임워크를 개발한다.
• 클래스 특화 특징이 아닌 구조적 유사성에 중점을 두어, 새로운 클래스로의 일반화를 가능하게 하는 공유 표현을 학습한다.
• 학습된 유사도 함수를 재사용하여 후보 인스턴스를 순서 매기는 방식으로 프레임워크를 제로샷 검색에 적응시킨다.

실험 결과

연구 질문

• RQ1 클래스에 종속되지 않는 유사도 함수는 클래스 특화 모델 대비 제로샷 인식 성능 향상에 기여하는가?
• RQ2 매칭의 사후 확률을 모델링하면 제로샷 학습에서 일반화 능력이 어떻게 향상되는가?
• RQ3 원천 도메인과 대상 도메인 간의 통합 사전 학습이 얼마나 효과적으로 유사도 추정을 향상시키는가?
• RQ4 제안된 방법은 측정 가능한 mAP 향상으로 이어지는 제로샷 검색 작업으로 효과적으로 확장될 수 있는가?
• RQ5 정확도와 일반화 능력 측면에서 기존 임bedding 기반 접근법과 비교해 볼 때 이 방법은 어떠한가?

주요 결과

• 제안된 방법은 네 개의 벤치마크 제로샷 인식 데이터셋에서 최신 기술 대비 평균 정확도 4.90%의 절대적 향상을 달성한다.
• 공유 구조적 패턴에 기반한 클래스 독립적 유사도 함수를 학습시킴으로써, 새로운 클래스로의 일반화 능력이 뛰어나다.
• 통합 사전 학습 프레임워크는 원천 도메인과 대상 도메인 간 효과적인 매개변수 공유를 가능하게 하여 정확도를 향상시킨다.
• 제로샷 검색으로 확장한 결과, 기존 방법 대비 평균 평균 정확도(mAP)를 22.45% 향상시켰다.
• 기존의 많은 임베딩 기반 방법들이 제안된 확률 모델의 특수한 경우로 나타나, 이 모델의 일반성과 타당성을 입증한다.
• 사후 매칭 확률 모델링은 직접 분류 기반 모델 대비 더 신뢰도 있고 校정된 예측을 가능하게 한다.