[논문 리뷰] Order-Embeddings of Images and Language

Ivan Vendrov, Ryan Kiros외 2명|arXiv (Cornell University)|2015. 11. 19.

Multimodal Machine Learning Applications참고 문헌 28인용 수 87

한 줄 요약

이 논문은 시각적 의미 계층 구조(예: '개' → '소형견' 또는 '여자 고양이 산책 중' → '사람 산책 중')에서의 부분순서 구조를 유지하는 분산 표현을 학습하는 오더임베딩(order-embeddings)을 소개한다. 거리 기반 유사도 대신 학습된 임베딩 공간에서 순서 유지 제약 조건을 도입함으로써, 초의어 예측 및 이미지-캡션 검색 작업에서 기존 최고 성능 기준을 뛰어넘는 성능 향상을 이룬다.

ABSTRACT

Hypernymy, textual entailment, and image captioning can be seen as special cases of a single visual-semantic hierarchy over words, sentences, and images. In this paper we advocate for explicitly modeling the partial order structure of this hierarchy. Towards this goal, we introduce a general method for learning ordered representations, and show how it can be applied to a variety of tasks involving images and language. We show that the resulting representations improve performance over current approaches for hypernym prediction and image-caption retrieval.

연구 동기 및 목표

• 기존 임베딩 방법이 거리 유지에 의존함으로써 의미 계층의 반대칭성과 추이성 특성을 포착하지 못하는 한계를 해결한다.
• 이미지, 캡션, 단어와 같은 개념들이 추상화 관계(예: '개'는 '푸들'의 하위 개념)를 통해 연결되는 부분순서로 시각적 의미 계층을 모델링한다.
• 부분순서 구조를 유지하는 임베딩을 학습할 수 있는 일반적인 프레임워크를 개발하여 계층적 관계를 포함하는 작업에서 더 나은 성능을 달성한다.
• 초의어 예측, 캡션-이미지 검색, 텍스트 함의 세 가지 작업에서 오더임베딩의 유효성을 입증한다.
• 기존의 관계 학습 모델과 통합할 수 있도록 유사도 비교를 순서 유지 연산으로 대체하는 통합적 접근을 제공한다.

제안 방법

• 문제를 부분순서 완성 문제로 정의: 학습된 임베딩 기반으로 미리 보지 않은 쌍 (u,v)가 순서로 정렬되어 있는지 예측한다.
• 오더임베딩을 f: (X, ⪯_X) → (Y, ⪯_Y)로 정의하여, u ⪯_X v일 때 정확히 f(u) ⪯_Y f(v)가 되도록 하여 순서의 정확한 유지 보장을 보장한다.
• 임베딩 공간의 순서로 ℝ₊^N에서의 역행렬 곱 순서를 사용하여 추상화(만남) 및 병합(합) 연산을 모두 지원한다.
• 오더 위반에 페널티를 주는 마진 기반 손실 함수를 사용: f(u) ≼ f(v) 이지만 u ≤ v 가 아닐 경우 모델이 페널티를 받는다.
• 문장과 이미지를 공통 공간으로 매핑하기 위해 GRU 기반 인코더를 적용하며, 단위 L2 정규화된 임베딩을 사용한다.
• 하드 네거티브 샘플링을 적용한 대비 학습 설정을 사용하여, 양성 쌍은 순서로 정렬되고 음성 쌍은 그렇지 않은 방식으로 학습한다.

실험 결과

연구 질문

• RQ1 거리 기반 유사도 방법에 비해 순서 유지 임베딩이 초의어 예측 성능 향상에 기여하는가?
• RQ2 캡션과 이미지 간의 계층적 관계를 모델링함으로써 오더임베딩이 이미지-캡션 검색 성능 향상에 기여하는가?
• RQ3 동일한 프레임워크가 한 문장이 다른 문장을 논리적으로 함의하는 텍스트 함의를 효과적으로 모델링할 수 있는가?
• RQ4 대칭적 유사도 대비 부분순서 구조를 임베딩에 강제 적용할 경우 의미 계층을 얼마나 더 잘 포착할 수 있는가?
• RQ5 오더임베딩이 단일 계층적 표현 프레임워크 내에서 다양한 NLP 및 비전 작업을 얼마나 효과적으로 통합할 수 있는가?

주요 결과

• 2클래스 SNLI 함의 작업에서 오더임베딩은 88.6%의 정확도를 달성하여 스킵-소리 기반 베이스라인(87.7%)과 EOP 분류기(75.0%)를 모두 능가한다.
• 초의어 예측 작업에서 오더임베딩은 초의어 관계의 반대칭성과 추이성 특성을 명시적으로 모델링함으로써 이전 최고 성능 기준을 뛰어넘는 성능을 보였다.
• 이미지-캡션 검색 작업에서 오더임베딩은 이미지에서 캡션으로의 계층적 추상화를 유지함으로써 거리 기반 기반선 대비 성능 향상을 이룬다.
• 주의 기반 모델보다 더 단순함에도 불구하고 텍스트 함의 작업에서 거의 최고 성능을 달성하였으며, 이는 순서 제약 조건이 강력한 인덕티브 바이어스를 제공한다는 것을 시사한다.
• 보조 자료에 포함된 시각화 결과에서, 계층적 추상화를 반영하는 일관된 기하학적 패턴을 포함한 새로운 벡터 규칙성이 드러났다.
• 이 방법은 다양한 작업으로 잘 일반화되며, 오더임베딩이 단일 프레임워크 내에서 초의어 관계, 텍스트 함의, 이미지-캡션 관계의 모델링을 통합할 수 있음을 보여준다.