[논문 리뷰] Multi-Context Label Embedding.

Yaxin Shi, Donna Xu외 2명|arXiv (Cornell University)|2018. 05. 03.

Domain Adaptation and Few-Shot Learning인용 수 1

한 줄 요약

이 논문은 다중 레이블 컨텍스트—예를 들어 레이블 계층 구조와 속성—를 공유 변수를 통해 상호 컨텍스트 간 의존성을 포괄적으로 모델링하는 행렬 분해 기반 방법인 다중 컨텍스트 레이블 임베딩(MCLE)을 제안한다. 희소성 조건을 부여함으로써 MCLE는 해석 가능성과 함께 두 개의 실세계 데이터셋에서 제로샷 이미지 분류 및 레이블 기술 작업에서 최고 성능을 달성한다.

ABSTRACT

Label embedding plays an important role in zero-shot learning. Side information such as attributes, semantic text representations, and label hierarchy are commonly used as the label embedding in zero-shot classification tasks. However, the label embedding used in former works considers either only one single context of the label, or multiple contexts without dependency. Therefore, different contexts of the label may not be well aligned in the embedding space to preserve the relatedness between labels, which will result in poor interpretability of the label embedding. In this paper, we propose a Multi-Context Label Embedding (MCLE) approach to incorporate multiple label contexts, e.g., label hierarchy and attributes, within a unified matrix factorization framework. To be specific, we model each single context by a matrix factorization formula and introduce a shared variable to capture the dependency among different contexts. Furthermore, we enforce sparsity constraint on our multi-context framework to strengthen the interpretability of the learned label embedding. Extensive experiments on two real-world datasets demonstrate the superiority of our MCLE in label description and zero-shot image classification.

연구 동기 및 목표

• 기존의 레이블 임베딩 방법이 서로 간의 의존성을 모델링하지 못하는 단점을 해결하기 위해.
• 속성과 계층적 관계와 같은 다중 레이블 컨텍스트를 공동으로 모델링하여 레이블 임베딩의 해석 가능성과 정렬 성능를 향상시키기 위해.
• 다양한 컨텍스트 간 레이블 간 의미적 유사성을 임베딩 공간에서 유지하는 통합 프레임워크를 개발하기 위해.
• 더 어울리는 의미적 표현과 희소성을 갖춘 레이블 표현을 통해 제로샷 이미지 분류 성능을 향상시키기 위해.

제안 방법

• 속성과 레이블 계층 구조와 같은 각 레이블 컨텍스트를 개별 행렬 분해 구성 요소로 수식화한다.
• 다른 레이블 컨텍스트 간의 의존성을 모델링하기 위해 공유 잠재 변수를 도입하여 임베딩 공간에서의 교차 컨텍스트 정렬을 가능하게 한다.
• 학습된 임베딩에 희소성 제약 조건을 적용하여 해석 가능성 향상과 노이즈 감소를 도모한다.
• 모든 구성 요소를 동시에 학습하기 위해 교차 최적화 전략을 사용하여 통합 목적 함수를 최적화한다.
• 다중 컨텍스트 의미를 유지하면서도 효율적인 레이블 임베딩 표현을 위해 저랭크 근사 프레임워크를 사용한다.
• 공유 변수가 다양한 컨텍스트 간 의미 있는 관계를 포착하도록 보장하기 위해 정규화 항을 도입한다.

실험 결과

연구 질문

• RQ1 다중 레이블 컨텍스트를 공동으로 모델링하면 제로샷 학습에서 레이블 임베딩의 해석 가능성과 정렬 성능가 향상되는가?
• RQ2 속성과 계층 구조와 같은 레이블 컨텍스트 간의 의존성을 통합할 경우 제로샷 분류 성능에 어떤 영향을 미치는가?
• RQ3 레이블 임베딩에 희소성 제약 조건을 적용할 경우 성능 저하 없이 얼마나 해석 가능성 향상이 이루어지는가?
• RQ4 제안된 MCLE 프레임워크는 실세계 데이터셋에서 기존의 단일 컨텍스트 또는 독립적 컨텍스트 레이블 임베딩 방법보다 우월한가?

주요 결과

• MCLE는 두 개의 실세계 데이터셋에서 다중 레이블 컨텍스트를 효과적으로 통합함으로써 제로샷 이미지 분류에서 최고 성능을 달성한다.
• 컨텍스트 간 공유된 의존성의 포함으로 인해 의미적으로 관련된 레이블들이 임베딩 공간에서 더 잘 정렬된다.
• 희소성 제약 조건은 두드러진 특징을 강조함으로써 학습된 레이블 임베딩의 해석 가능성에 크게 기여한다.
• 실험 결과, MCLE는 레이블 기술 및 분류 작업 모두에서 단일 컨텍스트 및 공유되지 않은 다중 컨텍스트 기반 베이스라인보다 뛰어난 성능을 보였다.