[논문 리뷰] Image-embodied Knowledge Representation Learning

Ruobing Xie, Zhiyuan Liu외 2명|arXiv (Cornell University)|2016. 09. 22.

Multimodal Machine Learning Applications참고 문헌 13인용 수 11

한 줄 요약

이 논문은 신경 이미지 인코더와 주목사용 기반 집계를 통해 엔티티 이미지에서 비롯하는 시각 정보를 통합함으로써 지식 표현을 향상시키는 새로운 모델인 이미지-통합 지식 표현 학습(IKRL)을 제안한다. 실험 결과 IKRL은 지식 그래프 완성 및 삼중항 분류 과제에서 기준 모델들을 뛰어넘는 성능을 보이며, 시각 신호가 지식 표현 학습 향상에 효과적임을 입증한다.

ABSTRACT

Entity images could provide significant visual information for knowledge representation learning. Most conventional methods learn knowledge representations merely from structured triples, ignoring rich visual information extracted from entity images. In this paper, we propose a novel Image-embodied Knowledge Representation Learning model (IKRL), where knowledge representations are learned with both triple facts and images. More specifically, we first construct representations for all images of an entity with a neural image encoder. These image representations are then integrated into an aggregated image-based representation via an attention-based method. We evaluate our IKRL models on knowledge graph completion and triple classification. Experimental results demonstrate that our models outperform all baselines on both tasks, which indicates the significance of visual information for knowledge representations and the capability of our models in learning knowledge representations with images.

연구 동기 및 목표

• 기존의 지식 표현 학습 방법이 구조화된 삼중항에만 의존하고 엔티티 이미지에서 유래하는 풍부한 시각 정보를 忽시하는 한계를 해결하기 위해.
• 삼중항 사실과 이미지 데이터 양쪽에서 동시에 지식 표현을 학습하는 통합 프레임워크를 개발하기 위해.
• 실제 벤치마크를 활용하여 시각 정보가 지식 표현 품질에 미치는 영향을 평가하기 위해.
• 주목 기반 메커니즘이 엔티티 표현을 위한 정보성 있는 이미지 인스턴스를 선택하는 데서 수행하는 역할를 분석하기 위해.

제안 방법

• 각 엔티티 이미지의 이미지 기반 임베딩을 생성하기 위해 표현 모듈과 투영 모듈을 갖춘 신경 이미지 인코더를 사용한다.
• 주목 기반 메커니즘이 다수의 이미지 표현을 하나의 통합된 이미지 기반 표현으로 집계한다.
• 집계된 이미지 표현을 번역 기반 지식 표현 프레임워크(예: TransE)에 통합하여 엔티티 및 관계 임베딩을 공동 최적화한다.
• 삼중항을 평가하기 위해 번역 벡터의 L2 노름(||h + r - t||) 기반의 비유사도 함수를 사용한다.
• MAX, AVG, ATT와 같은 여러 집계 전략을 평가하였으며, ATT 전략이 뛰어난 성능을 보였다.
• 이 프레임워크는 TransE를 초월한 다른 번역 기반 모델에도 확장 가능하다.

실험 결과

연구 질문

• RQ1 엔티티 이미지에서 유래하는 시각 정보는 구조화된 삼중항 사실 외에도 지식 표현 학습을 향상시킬 수 있는가?
• RQ2 주목 기반 메커니즘은 다수의 이미지 인스턴스 중에서 엔티티 표현을 위한 정보성 있는 이미지를 얼마나 효과적으로 선택할 수 있는가?
• RQ3 학습된 이미지 기반 표현은 단어 임베딩에서 관찰되는 의미적 규칙성과 유사한 특성을 보이는가?
• RQ4 이미지 데이터 통합이 최종 지식 그래프 과제에서 측정 가능한 성능 향상으로 이어지는가?

주요 결과

• IKRL(ATT) 모델은 삼중항 분류 과제에서 96.9%의 정확도를 기록하여 TransE(95.0%) 및 TransR(95.3%)를 뛰어넘는 성능을 보이며, 주목 기반 이미지 집계의 효과성을 입증한다.
• IKRL의 모든 변종이 기준 모델들을 능가함으로써, 시각 정보가 지식 표현 학습 향상에 기여함을 확인한다.
• 주목 기반 메커니즘이 저품질 또는 모호한 이미지(예: 휴대용 컴퓨터로 잘못 분류된 스마트폰)를 성공적으로 식별하고 가중치를 낮춘다.
• 'image-knowledge joint embedding space'에서 'dresser - drawer ≈ part_of'와 같은 의미적 유사성 관계가 발견되어 의미 있는 시각적 유사성 관계가 존재함을 시사한다.
• 모델는 지식 그래프 완성 및 삼중항 분류 과제 전반에서 일관된 향상이 이루어지는 등 뛰어난 강건성과 일반화 능력을 보였다.