[논문 리뷰] Informed Democracy: Voting-based Novelty Detection for Action Recognition

Alina Roitberg, Ziad Al-Halah외 1명|arXiv (Cornell University)|2018. 10. 30.

Anomaly Detection Techniques and Applications인용 수 14

한 줄 요약

이 논문은 베이지안 신경망에서의 예측 불확실성을 활용하여 미리 보지 않은 동작 클래스를 식별하는 투표 기반의 신규성 탐지 프레임워크를 제안한다. 높은 신뢰도 예측에 집중한 분류기들의 '지능적인 민주주의'를 구성함으로써, UCF-101과 HMDB-51에서 최신 기술을 초월하여 성능을 발휘하며, UCF-101에서 97.52% PR AUC를 달성하고 일반화된 제로샷 학습 정확도를 크게 향상시킨다.

ABSTRACT

Novelty detection is crucial for real-life applications. While it is common in activity recognition to assume a closed-set setting, i.e. test samples are always of training categories, this assumption is impractical in a real-world scenario. Test samples can be of various categories including those never seen before during training. Thus, being able to know what we know and what we do not know is decisive for the model to avoid what can be catastrophic consequences. We present in this work a novel approach for identifying samples of activity classes that are not previously seen by the classifier. Our model employs a voting-based scheme that leverages the estimated uncertainty of the individual classifiers in their predictions to measure the novelty of a new input sample. Furthermore, the voting is privileged to a subset of informed classifiers that can best estimate whether a sample is novel or not when it is classified to a certain known category. In a thorough evaluation on UCF-101 and HMDB-51, we show that our model consistently outperforms state-of-the-art in novelty detection. Additionally, by combining our model with off-the-shelf zero-shot learning (ZSL) approaches, our model leads to a significant improvement in action classification accuracy for the generalized ZSL setting.

연구 동기 및 목표

• 실제 행동 인식 환경에서 자주 나타나는 새로운 동작들로 인해 발생하는 닫힌 집합 가정의 심각한 한계를 해결한다.
• 테스트 샘플이 이전에 본 적 없는 동작 클래스에 속하는지 여부를 탐지할 수 있는 강력한 방법을 개발한다.
• 모델이 자신이 모른다는 것을 알고, 분포 외 입력에서 치명적인 실패를 줄인다.
• 신규성 탐지 기능을 일반화된 제로샷 학습(GZSL)과 통합하여, 기존과 새로운 동작 모두에서 분류 정확도를 향상시킨다.
• 표준 벤치마크에서 개방집합 행동 인식을 공식화하고 평가하여, 신규성 탐지 및 GZSL에 대한 새로운 평가 프로토콜을 제공한다.

제안 방법

• MC-Dropout를 활용하여 딥 네ural 네트워크에서 예측 불확실성을 추정하고, 베이지안 추론을 근사한다.
• 각 테스트 샘플에 대해 가장 확신도가 높은 분류기(‘리더’)를 식별하고, 해당 클래스에 집중된 분류기의 부분 집합으로 투표 회의를 구성한다.
• 회의는 분류기들의 불확실성 추정에 기반하여 샘플이 새로운지 여부를 투표한다. 높은 불확실성은 새로운 동작임을 시사한다.
• 투표 임계값을 적용하여 샘플이 알려진 클래스로 분류될지 아니면 새로운 것으로 거부될지 결정한다.
• 신규성 탐지기능을 일반화된 제로샷 학습(GZSL) 파이프라인에 통합하여, 알려지지 않은 샘플은 ZSL 모델으로 라우팅하고, 알려진 샘플은 표준 분류기로 처리한다.
• 신규성 탐지 평가 지표로 ROC 및 PR 곡선 아래 면적을 사용하고, GZSL 평가 지표로 기존/신규 정확도의 조화 평균을 사용한다.

실험 결과

연구 질문

• RQ1 베이지안 딥 러닝에서의 예측 불확실성은 영상 인식에서 새로운 동작 클래스를 효과적으로 탐지하는 데에 활용될 수 있는가?
• RQ2 불확실성 인식 분류기의 투표 기반 앙상블은 개별 모델 대비 어떻게 신규성 탐지 성능을 향상시키는가?
• RQ3 제안된 신규성 탐지 프레임워크는 일반화된 제로샷 학습(GZSL)에 원활하게 통합되어 전체 행동 인식 성능을 향상시킬 수 있는가?
• RQ4 UCF-101과 HMDB-51와 같은 표준 벤치마크에서 기존 기준 대비 제안된 방법의 신규성 탐지 AUC는 어떻게 비교되는가?
• RQ5 '지능적인 민주주의' 투표 메커니즘은 확신도에 기반해 분류기를 선택함으로써, 무작위 또는 독재적 투표 방식보다 더 나은 일반화 및 강건성을 제공하는가?

주요 결과

• 제안된 Informed Democracy 모델은 UCF-101에서 92.94% PR AUC, HMDB-51에서 75.33% ROC AUC를 기록하여 모든 기준 모델을 능가한다.
• UCF-101에서 모델은 97.52% PR AUC를 달성하여 다음으로 우수한 방법인 Uninformed Democracy(97.15%)보다 뚜렷이 높다.
• 일반화된 제로샷 학습(GZSL) 환경에서 Informed Democracy 모델은 UCF-101에서 23.42%의 정확도를 기록하며(기존+신규→기존+신규), 표준 ConSe 모델(21.03%)과 전통적인 NN 신뢰도(20.91%)를 뛰어넘는다.
• HMDB-51에서 U→U+S 설정에서 기존의 전통적 NN 신뢰도를 기준으로 하면, 제로샷 정확도가 10.96%에서 13.67%로 5% 이상 향상된다.
• Informed Democracy 접근 방식은 Dictator 및 Uninformed Democracy 변형보다 일관되게 뛰어난 성능을 보이며, 신뢰도 기반의 선택적 분류기 선택의 이점을 입증한다.
• 이 프레임워크는 기존과 새로운 동작 간 효과적인 필터링을 가능하게 하여, 표준 제조품 ZSL 모델과의 원활한 통합을 가능하게 하고, 개방집합 환경에서 그 성능을 크게 향상시킨다.