[논문 리뷰] Zero-Shot Learning with Knowledge Enhanced Visual Semantic Embeddings

Karan Sikka, Jihua Huang외 7명|arXiv (Cornell University)|2020. 11. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 74인용 수 5

한 줄 요약

이 논문은 시각적 의미 임베딩에 공통된 지식 기반의 논리적 규칙—예를 들어 상위개념 관계 및 속성 관계—를 강제 적용함으로써 제로샷 학습(ZSL) 성능을 향상시키는 새로운 신경심볼릭 손실 함수인 공통지식 기반 신경심볼릭 손실(CSNL)을 제안한다. 그룹 수준에서 규칙를 적용하고 신뢰도 마진을 활용한 암묵적 커리큘럼 학습을 통해 임베딩 공간의 분류 능력을 향상시키며, AWA2와 Kinetics-ZS에서 각각 11.5% 및 11.6%의 성능 향상을 기록하여 최신 기술(SOTA)을 달성한다.

ABSTRACT

We improve zero-shot learning (ZSL) by incorporating common-sense knowledge in DNNs. We propose Common-Sense based Neuro-Symbolic Loss (CSNL) that formulates prior knowledge as novel neuro-symbolic loss functions that regularize visual-semantic embedding. CSNL forces visual features in the VSE to obey common-sense rules relating to hypernyms and attributes. We introduce two key novelties for improved learning: (1) enforcement of rules for a group instead of a single concept to take into account class-wise relationships, and (2) confidence margins inside logical operators that enable implicit curriculum learning and prevent premature overfitting. We evaluate the advantages of incorporating each knowledge source and show consistent gains over prior state-of-art methods in both conventional and generalized ZSL e.g. 11.5%, 5.5%, and 11.6% improvements on AWA2, CUB, and Kinetics respectively.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 시각적 의미 임베딩에 공통지식을 통합함으로써 제로샷 학습(ZSL) 성능을 향상시키는 것.
• 임베딩 공간 내에서 클래스 수준의 구분이 부족하여 시각적 의미 임베딩(VSE) 모델이 미리 보지 않은 클래스에 대해 일반화 능력이 떨어지는 문제를 해결하는 것.
• 기존 방법들이 VSE 공식에 복잡한 수정을 가하거나 계층적 및 속성 기반 관계를 효과적으로 활용하지 못하는 한계를 극복하는 것.
• 신뢰도 마진과 그룹 수준의 규칙 강제 적용을 통해 암묵적 커리큘럼 학습이 가능한 신경심볼릭 손실을 개발하여 일반화 능력을 향상시키는 것.
• 상위개념 및 속성 기반 규칙이 전통적 및 일반화된 제로샷 학습 설정에서 성능 향상에 기여하는지 평가하는 것.

제안 방법

• 사람이 이해할 수 있는 논리적 규칙를 시각적 특징에 대한 미분 가능한 제약 조건으로 변환하는 새로운 신경심볼릭 손실 함수인 공통지식 기반 신경심볼릭 손실(CSNL)을 제안한다.
• 예를 들어 'isA(x, Tiger) → isA(x, Carnivore)'와 같은 논리적 규칙를 정규화하여 VSE 공간에서 시각적 특징가 공통지식 기반 의미 계층과 일치하도록 보장한다.
• 그룹 수준의 규칙 강제 적용을 도입하여, 한 샘플이 상위개념 클래스(예: 'Feline')와 유사할 경우, 그의 모든 구성원 클래스(예: 'Tiger', 'Cat')와도 유사해야 하며, 이는 구조적 일관성을 향상시킨다.
• 논리 연산자 내부에 신뢰도 마진을 통합하여, 모델의 신뢰도가 높아질 때까지 규칙 적용을 연기함으로써 암묵적 커리큘럼 학습을 가능하게 하고 조기 과적합을 줄인다.
• 기존의 딥 어댑티브 세미틱 로직(DASL)을 확장하여 논리적 규칙를 최적화 가능한 미분 가능한 손실 함수로 변환하며, 표준 VSE 학습과 함께 엔드 투 엔드로 최적화할 수 있도록 한다.
• 유도적 및 이행적 ZSL 설정 모두를 지원하며, 이행적 버전은 레이블이 없는 테스트 데이터를 활용하여 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 논리적 규칙 형태의 공통지식 통합이 제로샷 학습에서 시각적 의미 임베딩의 분류 능력을 향상시키는가?
• RQ2 하나의 개념이 아닌 하위개념 집합(예: 상위개념 집합)에 대해 규칙를 그룹 수준에서 강제 적용할 경우, 개별 개념에 대해 강제 적용하는 것보다 더 나은 일반화 성능을 얻을 수 있는가?
• RQ3 논리 연산자 내부의 신뢰도 마진이 암묵적 커리큘럼 학습을 가능하게 하고 학습 중 과적합을 방지하는 데 기여하는가?
• RQ4 CSNL은 최신 기술(SOTA) 방법들과 비교해 전통적 및 일반화된 제로샷 학습 벤치마크에서 어떤 성능을 보이는가?
• RQ5 CSNL은 이행적 설정에서 레이블이 없는 테스트 데이터를 효과적으로 활용하여 성능을 추가로 향상시킬 수 있는가?

주요 결과

• AWA2 데이터셋에서 CSNL은 평균 클래스 정확도(MCA_t)를 11.5% 절대적 향상시켜 이전 SOTA 방법(Zhang et al.)의 61.0% 대비 59.9%를 기록하며 승리한다.
• CUB 데이터셋에서 CSNL은 MCA_t 32.5%를 기록하여 이전 SOTA(SJE) 대비 13.8% 향상되었고, 베이스라인 Devise 방법 대비 10.8% 향상되었다.
• 일반화된 ZSL 설정(HM 지표 기준)에서 CSNL_tr(이행적 버전)는 AWA2에서 64.0%의 HM을 기록하여 QFSL_tr(42.2%) 및 Zhang(35.7%)를 크게 앞서며 클래스 불균형에 대한 강건성을 입증했다.
• Kinetics-ZS에서 CSNL은 이행적 설정에서 MCA_t 67.5% 및 HM 47.0%를 기록하여 이전 SOTA(Zhang et al.) 대비 11.6% 향상되었고, 베이스라인 Devise 방법 대비 15.6% 향상되었다.
• 제거 실험 결과에서 상위개념 및 속성 기반 규칙 모두가 성능 향상에 기여하며, 특히 그룹 수준의 규칙 강제 적용 및 신뢰도 마진 메커니즘이 과적합을 줄이고 일반화 능력을 향상시키는 데 핵심적인 역할을 한다는 것이 확인되었다.
• CSNL의 이행적 버전(CSNL_tr)은 모든 데이터셋에서 베이스라인보다 뛰어난 성능을 보이며, 레이블이 없는 테스트 데이터를 효과적으로 활용하여 임베딩 공간을 정교화할 수 있음을 보여주었다.