[논문 리뷰] Semantically Consistent Regularization for Zero-Shot Recognition

Pedro Morgado, Nuno Vasconcelos|arXiv (Cornell University)|2017. 04. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 22

한 줄 요약

이 논문은 손실 기반 정규화와 코드워드 정규화를 결합하여 의미적 코드를 공동으로 학습하고 일반화 능력을 향상시키는 새로운 CNN 프레임워크인 의미적으로 일관된 정규화(Semantically Consistent Regularization, SCoRe)를 제안한다. 독립적인 의미적 감독과 구조화된 의미적 종속성을 모두 활용함으로써, CUB 데이터셋에서 VGG19를 사용할 경우 이전 방법 대비 최대 10.5% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The role of semantics in zero-shot learning is considered. The effectiveness of previous approaches is analyzed according to the form of supervision provided. While some learn semantics independently, others only supervise the semantic subspace explained by training classes. Thus, the former is able to constrain the whole space but lacks the ability to model semantic correlations. The latter addresses this issue but leaves part of the semantic space unsupervised. This complementarity is exploited in a new convolutional neural network (CNN) framework, which proposes the use of semantics as constraints for recognition.Although a CNN trained for classification has no transfer ability, this can be encouraged by learning an hidden semantic layer together with a semantic code for classification. Two forms of semantic constraints are then introduced. The first is a loss-based regularizer that introduces a generalization constraint on each semantic predictor. The second is a codeword regularizer that favors semantic-to-class mappings consistent with prior semantic knowledge while allowing these to be learned from data. Significant improvements over the state-of-the-art are achieved on several datasets.

연구 동기 및 목표

• 기존의 제로샷 러닝(ZSL) 방법이 의미 상관관계를 忽시하거나 의미 공간의 큰 부분을 비지도 상태로 둔다(RULE)는 한계를 해결한다.
• 딥 CNN에서 독립적 의미(기존 RIS)와 공동 의미 학습(RULE)의 상호보완적 강점을 활용하여 제로샷 일반화 능력을 향상시킨다.
• 의미 코드와 분류 코드를 동시에 학습하는 통합 프레임워크를 개발하고, 이 둘 사이의 일관성을 강제하는 정규화를 구현한다.
• 의미 임베딩에 고정된 분류 코드가 아니라, 분류 코드워드를 학습하는 것이 ZSL 성능을 크게 향상시킨다는 것을 입증한다.
• 제안된 프레임워크 하에서 속성, 계통도, Word2Vec 등의 다양한 의미 표현 방식이 ZSL 성능에 미치는 영향을 조사한다.

제안 방법

• 손실 기반 정규화(각 의미 예측기의 제약)와 코드워드 정규화(학습된 분류 코드워드를 의미 지식과 정렬)를 결합한 이중 정규화 프레임워크를 제안한다.
• 의미 코드와 특징을 동시에 학습할 수 있도록 CNN 내부에 은닉 의미층을 도입한다.
• 클래스 레이블을 의미 벡터로 매핑하는 레이블 임베딩 함수 φ(y)를 사용하여 감독과 정규화의 기초를 마련한다.
• 공유된 특징을 사용하는 단일 CNN을 학습하며, 별도의 의미 예측기를 갖는다. 정규화를 통해 예측 결과가 이전의 의미 지식과 일관성을 유지하도록 보장한다.
• 교차 엔트로피 손실과 두 가지 정규화 항을 포함하는 공동 목적 함수를 최적화한다. 하나는 각 속성에 대한 일반화를 강제하고, 다른 하나는 의미 코드와 분류 코드 간의 정렬을 촉진한다.
• 일관성과 유연성의 균형을 확보하기 위해, 훈련 클래스의 일부를 대상으로 하이퍼파라미터 λ(손실 정규화 계수)와 β(코드워드 정규화 계수)를 튜닝한다.

실험 결과

연구 질문

• RQ1 독립적 의미 감독(RIS)과 공동 의미 학습(RULE)을 결합함으로써 딥 CNN에서 제로샷 인식 성능이 어떻게 향상되는가?
• RQ2 의미 임베딩에 고정된 분류 코드워드가 아니라, 분류 코드워드를 학습하는 것이 ZSL 성능에 어떤 영향을 미치는가?
• RQ3 훈련 클래스와 제로샷 클래스의 의미 하위공간 간 정렬이 손실 기반 정규화의 효과성에 어떤 영향을 미치는가?
• RQ4 속성, 계통도, Word2Vec 중 어떤 의미 표현 방식이 제안된 프레임워크 하에서 최고의 전이 성능을 내는가?
• RQ5 작업에 민감한 정규화(SCoRe)가 작업에 무관한 정규화(예: 고정된 의미 코드)를 초월할 수 있는가?

주요 결과

• Deep-SCoRe는 CUB, AwA, IFCB에서 최신 기술 수준의 성능을 달성하였으며, 각각 AlexNet, GoogLeNet, VGG19를 사용할 경우 이전 방법 대비 절대적 향상률 7.9%, 3.7%, 10.5%를 기록하였다.
• 코드워드 정규화가 고정된 의미 코드보다 우수했으며, 최적 성능은 중간 수준의 β 값에서 달성되어 일관성과 학습 가능성 사이의 균형이 중요함을 시사한다.
• 손실 기반 정규화는 의미 하위공간 정렬이 열악한 데이터셋(예: IFCB)에서 가장 큰 성능 향상을 보였으며, 이는 이론적으로 전이 가능성의 저하가 심할수록 정규화가 더 효과적이라는 가정을 뒷받침한다.
• SCoRe는 RIS 및 RULE 기반 모델을 모두 압도적으로 뛰어넘었으며, 의미적으로 일관된 정규화를 통한 공동 학습의 우수성을 입증한다.
• 속성을 의미 표현으로 사용할 경우 전이 성능가 가장 뛰어났고, 이는 계통도와 Word2Vec보다도 속성이 ZSL에서 더 강력한 분류 능력을 지닌다는 것을 확인한다.
• 제한 없이 초기화된 CNN(무작위로 초기화된 네트워크)는 제로샷 클래스로의 일반화에 실패했으며, 이는 ZSL에서 의미 정규화의 필수성을 강조한다.