[논문 리뷰] Learning to Separate Domains in Generalized Zero-Shot and Open Set Learning: a probabilistic perspective

Hanze Dong, Yanwei Fu외 4명|arXiv (Cornell University)|2018. 09. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 6

한 줄 요약

이 논문은 일반화된 제로샷 학습 및 오픈 세트 학습 환경에서 테스트 인스턴스를 알려진, 알려지지 않은, 불확실한 도메인으로 분리하는 확률적 도메인 분할 프레임워크를 제안한다. 부트스트래핑과 콜모고로프-스미르노프 검정을 활용하여 결론 경계를 추정하고 정밀 조정함으로써, 명시적인 불확실성 모델링과 본래의 클래스와 새로운 클래스 간의 분리도 향상시켜 벤치마크 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

This paper studies the problem of domain division which aims to segment instances drawn from different probabilistic distributions. Such a problem exists in many previous recognition tasks, such as Open Set Learning (OSL) and Generalized Zero-Shot Learning (G-ZSL), where the testing instances come from either seen or novel/unseen classes of different probabilistic distributions. Previous works focused on either only calibrating the confident prediction of classifiers of seen classes (W-SVM), or taking unseen classes as outliers. In contrast, this paper proposes a probabilistic way of directly estimating and fine-tuning the decision boundary between seen and novel/unseen classes. In particular, we propose a domain division algorithm of learning to split the testing instances into known, unknown and uncertain domains, and then conduct recognize tasks in each domain. Two statistical tools, namely, bootstrapping and Kolmogorov-Smirnov (K-S) Test, for the first time, are introduced to discover and fine-tune the decision boundary of each domain. Critically, the uncertain domain is newly introduced in our framework to adopt those instances whose domain cannot be predicted confidently. Extensive experiments demonstrate that our approach achieved the state-of-the-art performance on OSL and G-ZSL benchmarks.

연구 동기 및 목표

• 일반화된 제로샷 학습 및 오픈 세트 학습 환경에서 테스트 인스턴스가 서로 다른 확률적 분포에서 유래한다는 점을 감안해 본래의 클래스와 새로운 클래스를 구분하는 데 도전하는 것.
• 이전 방법들이 본래의 클래스 예측에만 校정을 수행하거나 새로운 클래스를 외부자(Outlier)로 간주하지만 명시적인 도메인 모델링이 없는 한계를 극복하는 것.
• 클래스 기원을 확신롭게 할 수 없는 인스턴스를 포괄하는 새로운 불확실한 도메인을 도입하여 강건성을 향상시키는 것.
• 알려진 도메인과 알려지지 않은 도메인 간의 결론 경계를 직접 추정하고 정밀 조정하는 확률적 프레임워크를 개발하는 것.
• 각 도메인에 맞는 분류 전략을 적용함으로써 테스트 공간을 명시적으로 도메인으로 분할하여 인식 성능을 향상시키는 것.

제안 방법

• 이 방법은 알려진(본래 클래스), 알려지지 않은(신규/새로운 클래스), 불확실(모호한 인스턴스)의 세 도메인으로 분할하여 테스트 시 분포 이탈을 더 잘 모델링한다.
• 부트스트래핑을 사용하여 본래 클래스의 분류기 점수의 표본 분포를 추정함으로써 신뢰도 추정이 가능해진다.
• 콜모고로프-스미르노프(K-S) 검정을 적용하여 본래 클래스 점수의 경험적 분포와 후보 알려지지 않은 인스턴스의 분포를 통계적으로 비교함으로써 분포의 차이를 탐지한다.
• K-S 검정의 p-값을 사용하여 알려진 도메인과 알려지지 않은 도메인 간의 결론 경계를 정밀 조정함으로써 분리 성능을 최적화하고 거짓 양성률을 최소화한다.
• 불확실 도메인은 K-S 검정이 인스턴스를 알려진 또는 알려지지 않은 것으로 확신 있게 분류하지 못하는 신뢰구간에 속하는 인스턴스로 동적으로 정의된다.
• 각 도메인에서 별도로 인식을 수행한다: 알려진 도메인과 알려지지 않은 도메인은 표준 분류를 사용하고, 불확실한 인스턴스는 기각되거나 특화된 불확실성 인식 전략을 통해 처리된다.

실험 결과

연구 질문

• RQ1 제로샷 및 오픈 세트 학습 환경에서 테스트 인스턴스를 알려진, 알려지지 않은, 불확실한 도메인으로 효과적으로 분리할 수 있는가?
• RQ2 부트스트래핑과 콜모고로프-스미르노프 검정을 조합하여 본래 클래스와 새로운 클래스 간의 결론 경계를 효과적으로 추정하고 정밀 조정할 수 있는가?
• RQ3 명시적인 불확실 도메인 도입이 오픈 세트 학습 및 일반화된 제로샷 학습 환경에서 분류 성능과 강건성에 미치는 영향는 어떠한가?
• RQ4 기존의 본래 클래스 예측만 校정하거나 새로운 클래스를 외부자로 간주하는 방법과 비교해 볼 때, 제안된 확률적 도메인 분할 프레임워크는 어떤가?
• RQ5 이 방법은 본래 클래스의 높은 정확도를 유지하면서도 새로운 클래스에 대한 일반화 능력을 향상시키고 오분류를 줄이는 데 얼마나 기여하는가?

주요 결과

• 제안된 방법은 일반화된 제로샷 학습 및 오픈 세트 학습을 위한 표준 벤치마크에서 최신 기준 성능을 달성한다.
• 명시적인 불확실 도메인 도입으로 인해 모호한 인스턴스를 포착함으로써 강건성이 크게 향상되었으며, 이는 이질적인 인스턴스가 잘못 분류되는 것을 방지한다.
• 부트스트래핑을 활용함으로써 분류기의 신뢰도 추정이 신뢰할 수 있게 되었으며, 본래 클래스 예측의 과신을 줄였다.
• 콜모고로프-스미르노프 검정은 본래 클래스와 새로운 클래스 간의 분포 이탈을 통계적으로 타당하게 탐지할 수 있는 방법을 제공하며, 이는 결론 경계의 정밀 조정을 가능하게 한다.
• 알려진 도메인과 알려지지 않은 도메인을 효과적으로 분리함으로써 프레임워크는 뛰어난 일반화 능력을 보이며, 새로운 클래스에 대한 F1 점수 향상과 오류율 감소를 이끌어냈다.
• 실증 결과는 확률적 도메인 분할과 불확실성 인식 전략의 조합이 다양한 데이터셋과 설정에서 일관된 성능 향상을 이끌어내었다.