[논문 리뷰] Learning Concept Taxonomies from Multi-modal Data

Hao Zhang, Zhiting Hu외 4명|arXiv (Cornell University)|2016. 06. 29.

Video Analysis and Summarization참고 문헌 30인용 수 3

한 줄 요약

이 논문은 텍스트와 이미지의 분산 표현을 동시에 활용하여 처음부터 초월어계층을 자동으로 유도하는 판별적 훈련을 거친 확률적 베이지안 모델을 제안한다. 계층별 가중치 통합을 통해 시각적 및 언어적 특징을 융합함으로써, ImageNet 계층에서 이전 방법 대비 F1 점수 2배 향상시키며, 계층 구축을 위한 다중모달 학습의 효과성을 입증한다.

ABSTRACT

We study the problem of automatically building hypernym taxonomies from textual and visual data. Previous works in taxonomy induction generally ignore the increasingly prominent visual data, which encode important perceptual semantics. Instead, we propose a probabilistic model for taxonomy induction by jointly leveraging text and images. To avoid hand-crafted feature engineering, we design end-to-end features based on distributed representations of images and words. The model is discriminatively trained given a small set of existing ontologies and is capable of building full taxonomies from scratch for a collection of unseen conceptual label items with associated images. We evaluate our model and features on the WordNet hierarchies, where our system outperforms previous approaches by a large gap.

연구 동기 및 목표

• 기존 계층 유도 방법이 텍스트 데이터에만 의존하고 풍부한 시각적 의미를 간과하는 한계를 해결하기 위해.
• 자동 계층 구축을 위해 언어적 및 시각적 특징을 모두 활용하는 통합 확률 모델을 개발하기 위해.
• 수작업 특징 추출에 의존하지 않고 단어와 이미지의 엔드 투 엔드 분산 표현을 사용하기 위해.
• 소규모 기존 온톨로지 세트를 활용해 판별적 훈련을 수행함으로써, 새로운 레이블 컬렉션에 대해 전혀 새로운 레이블 항목들로 전체 계층을 구축할 수 있도록 하기 위해.
• 실세계 계층, 예를 들어 ImageNet과 같은 계층에서 모델 성능을 평가하고, 시각적 데이터의 보완적 가치를 입증하기 위해.

제안 방법

• 모델은 단어에 대해 GloVe, 이미지에 대해 사전 훈련된 CNN(예: VGG-16, CNN-128)을 사용하여 압축적이고 일반적인 목적의 특징을 활용한다.
• 다중모달 특징 기반의 개념 간 is-a 관계의 가능성을 모델링하는 확률적 베이지안 프레임워크를 설정한다.
• 계층 구조의 각 수준에서 특징의 중요도를 적응적으로 할당하기 위해 계층별 가중치 벡터(w_l)를 활용한다.
• 주요 특징으로는 단어-단어 관계(S-T1, PC-T1), 이미지-이미지 유사도(S-V1, PC-V1), 그리고 부모-자식 의미 일致성 등이 포함된다.
• 소규모 기존 온톨로지 세트를 사용해 판별적 훈련을 수행함으로써, 새로운 레이블 컬렉션에 대해 제로샷 계층 유도를 가능하게 한다.
• 계층별로 정규화된 가중치를 분석함으로써, 더 깊이 있는, 더 구체적인 수준에서 시각적 특징이 점점 더 영향력 있게 작용하는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 비교적 텍스트 중심 방법에 비해 시각적 데이터가 자동 계층 유도 성능을 크게 향상시킬 수 있는가?
• RQ2 텍스트와 이미지의 분산 표현을 통합된 확률적 프레임워크에서 효과적으로 융합할 수 있는가?
• RQ3 의미 계층의 다양한 수준에서 시각적 특징과 언어적 특징의 중요도가 다를 수 있는가?
• RQ4 소규모 기존 온톨로지 세트에서 훈련된 모델이 새로운 레이블 컬렉션에 대해 처음부터 전체 계층을 구축하는 데 일반화 가능한가?
• RQ5 이미지 유사도와 언어 패턴 중 어떤 것이 초월어-하위어 관계 식별에 더 큰 기여를 하는가?

주요 결과

• 제안된 모델은 이전 방법 대비 계층 구축 과제에서 F1 점수 2배 향상되었으며, 최고 기존 방법의 F1 0.33 대비 0.66을 기록했다.
• 모델은 계층 구축 및 조상-F1 과제 양쪽에서 기존 베이스라인을 초월하며, 평가 지표 전반에 걸쳐 강력한 일반화 능력을 보였다.
• 시각적 특징(S-V1, PC-V1)을 활성화하면 성능 향상이 뚜렷하게 나타났으며, 모든 시각적 특징을 사용했을 때 조상-F1 점수가 0.42에서 0.52로 상승했다.
• 계층별 가중치 적응 기법은 성능 향상에 기여했으며, 더 깊이 있는, 더 특정적인 수준에서 시각적 특징이 더 중요한 영향을 미치는 반면, 더 높은 수준의 추상적 개념에서는 언어적 특징이 더 유의미한 것으로 나타났다.
• VGG-16 CNN은 CNN-128 모델 대비 조상-F1 점수에서 0.01의 개선만을 기록하여, 이 설정에서는 더 높은 차원의 특징이 점차 수익 감소 효과를 보임을 시사한다.
• 정성적 분석을 통해 모델이 대부분의 참값 링크를 올바르게 예측하고, 특히 시각적 및 언어적 신호가 일치할 경우에 false positive와 누락 링크를 타당한 이유와 함께 식별하는 것으로 확인되었다.