[논문 리뷰] Zero Shot Recognition with Unreliable Attributes

Dinesh Jayaraman, Kristen Grauman|arXiv (Cornell University)|2014. 09. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 176

한 줄 요약

이 논문은 속성 분류기의 예측 불신뢰성에 대해 수신기 작동 특성(ROC)을 활용하여 명시적으로 모델링하는 랜덤 포레스트 기반의 제로샷 인식 방법을 제안한다. 오차 통계 및 속성 애너테이션의 불확실성을 통합함으로써, 세 가지 벤치마크 데이터셋에서 제로샷 및 희소샷 설정에서 새로운 클래스에 대한 일반화 성능이 향상된다.

ABSTRACT

In principle, zero-shot learning makes it possible to train a recognition model simply by specifying the category's attributes. For example, with classifiers for generic attributes like \emph{striped} and \emph{four-legged}, one can construct a classifier for the zebra category by enumerating which properties it possesses---even without providing zebra training images. In practice, however, the standard zero-shot paradigm suffers because attribute predictions in novel images are hard to get right. We propose a novel random forest approach to train zero-shot models that explicitly accounts for the unreliability of attribute predictions. By leveraging statistics about each attribute's error tendencies, our method obtains more robust discriminative models for the unseen classes. We further devise extensions to handle the few-shot scenario and unreliable attribute descriptions. On three datasets, we demonstrate the benefit for visual category learning with zero or few training examples, a critical domain for rare categories or categories defined on the fly.

연구 동기 및 목표

• 장애, 모호성, 상관관계로 인해 중위 수준의 속성 분류기가 자주 오류를 일으키는 제로샷 학습에서 속성 예측의 불신뢰성 문제를 해결한다.
• 예측을 진정값으로 간주하는 대신, 속성 분류기의 오류 경향(예: 거짓 음성)을 모델링하여 제로샷 일반화 성능을 향상시킨다.
• 새로운 클래스에 대해 소수의 레이블이 있는 희소샷 시나리오를 다룰 수 있도록 프레임워크를 확장한다.
• 진짜 속성, 예측된 속성, 클래스 레이블 간의 종속성을 확률적 확장으로 모델링하여 신뢰할 수 없는 클래스-속성 연관성에 대응한다.
• 속성 예측의 불확실성을 명시적으로 모델링할 경우 더 강건하고 정확한 제로샷 인식 모델이 도출됨을 입증한다.

제안 방법

• 각 속성 분류기의 재현율(TPR)과 거짓 음성율(FNR)을 입력으로 사용하여 결합 노드를 구성하는 랜덤 포레스트 분류기를 훈련함으로써, 예측 오류에 대한 강건성을 향상시킨다.
• 진짜 속성 값과 예측 점수 간의 종속성을 고려하여 정확한 예측 확률을 증가시키는 확률 모델을 통해 클래스-속성 연관 통계를 통합한다.
• 불확실성 예측을 모델링하기 위해 공동 확률 모델을 사용한다: $ p(\hat{a}_m(\mathbf{x}), a_m(\mathbf{x}), A_k(m)) = p(\hat{a}_m(\mathbf{x}) \mid a_m(\mathbf{x})) \cdot p(a_m(\mathbf{x}) \mid A_k(m)) \cdot p(A_k(m)) $.
• 교차검증 기반으로 데이터 증강을 양성 비트만 뒤집는 데로 제한한다. 실제 데이터에서 거짓 음성은 거짓 양성보다 더 흔하기 때문이다.
• 합성 데이터에 노이즈 모델링을 적용하기 위해 지수 노이즈를 사용해 완벽한 속성 점수를 손상시켜, 다양한 수준의 분류기 불신뢰성을 시뮬레이션한다.
• 예측 정확도의 가능성을 기반으로 속성 서명을 재가중함으로써 불확실성 모델링을 훈련 과정에 통합함으로써, 무한한 수의 변형된 훈련 변형을 효과적으로 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 새로운 클래스에 대해 훈련 이미지가 전혀 없을 때, 속성 예측의 신뢰성에 대해 모델링하는 것이 제로샷 인식 성능을 향상시킬 수 있는가?
• RQ2 속성 분류기의 오류 패atters(예: 높은 거짓 음성율)를 고려할 경우, 새로운 카테고리로의 일반화 성능에 어떤 영향을 미치는가?
• RQ3 클래스-속성 연관성의 불확실성을 통합할 경우, 완벽한 속성 예측을 가정하는 기존 제로샷 방법보다 성능이 향상되는가?
• RQ4 소수의 레이블이 있는 희소샷 환경에서 제안된 방법의 성능은 어떠한가?
• RQ5 불확실성 모델링이 성능 향상에 실패하는 상황는 언제이며, 그 이유는 무엇인가?

주요 결과

• 제안된 방법은 AwA, aPY, SUN 데이터셋에서 표준 제로샷 학습 베이스라인보다 속성 예측 불신뢰성에 대해 명시적으로 모델링함으로써 뚜렷한 성능 향상을 보였다.
• AwA 데이터셋에서, 노이즈가 있는 속성 예측을 사용할 경우, 기준 DAP 모델 대비 제로샷 정확도가 12.3%p 향상되었다.
• SUN 데이터셋에서 클래스당 50~100장의 레이블이 있는 희소샷 설정에서, 100장 레이블 기반의 속성 예측 베이스라인을 초월하여 강력한 일반화 성능을 보였다. 이는 제한된 감독 정보 조건에서도 뛰어난 일반화 능력을 지녔음을 시사한다.
• SUN 데이터셋에서는 속성 애너테이션의 불확실성 모델링이 성능을 떨어뜨렸다. 이는 '등반'이나 '실내'와 같은 속성이 장면 카테고리 내에서 일관되게 존재하기 때문이며, 속성의 내부 변동성이 낮기 때문이다.
• 모델 성능은 거짓 음성율에 가장 민감하다. 교차검증 기반으로 비트 뒤집기를 양성 예측에만 제한할 경우 최적의 결과를 얻었으며, AwA에서는 15%의 양성 비트가 뒤집혔고, aPY에서는 30%가 뒤집혔다.
• 합성 노이즈 실험 결과, 분류기 노이즈 수준이 증가함에 따라 모델이 강건함을 확인하였으며, 특히 속성별로 노이즈가 발생할 경우 표준 방법보다 모든 노이즈 조건에서 뛰어난 성능을 보였다.