[논문 리뷰] Multi-modal space structure: a new kind of latent correlation for multi-modal entity resolution.

Qibin Zheng, Xingchun Diao외 4명|arXiv (Cornell University)|2018. 04. 21.

Domain Adaptation and Few-Shot Learning인용 수 3

한 줄 요약

이 논문은 이질적인 데이터 모odal 간의 공통 잠재 상관관계를 학습하는 새로운 다중모달 공간 구조를 제안하며, 짝지어진 훈련 데이터에 크게 의존하지 않고도 통합된 표현 학습을 가능하게 한다. 공통 공간에서의 다중모달 관계를 모델링함으로써, 데이터 의존도를 감소시키면서도 분류 기반 프레임워크를 통해 높은 성능을 유지하는 다중모달 엔티티 해상도를 실현한다.

ABSTRACT

Multi-modal data is becoming more common than before because of big data issues. Finding the semantically equal or similar objects from different data sources(called entity resolution) is one of the heart problem of multi-modal task. Current models for solving this problem usually needs much paired data to find the latent correlation between multi-modal data, which is of high cost. A new kind latent correlation is proposed in this article. With the correlation, multi-modal objects can be uniformly represented in a commonly shard space. A classifying based model is designed for multi-modal entity resolution task. With the proposed method, the demand of training data can be decreased much.

연구 동기 및 목표

• 짝지어진 훈련 예제에 대한 의존도를 줄임으로써 다중모달 엔티티 해상도에서 높은 데이터 주석 비용 문제를 해결하고자 한다.
• 다양한 모달 간을 통합하는 공유 표현 공간에서 새로운 종류의 잠재 상관관계를 발견하고자 한다.
• 이 잠재 상관관계를 활용하여 효과적인 엔티티 해상도를 수행하는 분류 기반 모델을 설계하고자 한다.
• 감독 신호 요구 사항을 최소화하여 다중모달 학습의 효율성과 확장성을 향상시키고자 한다.

제안 방법

• 이질적인 데이터 모달을 정렬하기 위한 공유 잠재 공간을 학습하는 다중모달 공간 구조를 제안한다.
• 의미적 동치성을 포착하는 학습된 잠재 상관관계 메커니즘을 통해 다중모달 관계를 모델링한다.
• 통합된 표현 공간을 사용하여 엔티티 해상도를 수행하는 분류 기반 프레임워크를 설계한다.
• 대규모 주석 데이터에 의존하지 않고 약한 감독 또는 제한된 짝지어진 데이터로 모델을 엔드 투 엔드로 훈련시킨다.
• 공유 공간에서 의미적으로 유사한 엔티티가 함께 군집하도록 유도하는 대비 학습 원리를 암묵적으로 활용한다.
• 다중모달 객체가 직접 비교 및 해상도가 가능하도록 공유 임bedding 공간에 투영한다.

실험 결과

연구 질문

• RQ1 큰 규모의 짝지어진 훈련 데이터가 필요 없이 다중모달 데이터 간의 잠재 상관관계를 어떻게 학습할 수 있는가?
• RQ2 최소한의 감독으로 효과적인 다중모달 엔티티 해상도를 가능하게 하는 공유 표현 공간은 어떤 특성을 가져야 하는가?
• RQ3 제안된 잠재 상관관계를 사용하여 제한된 짝지어진 예제로 훈련된 분류 기반 모델이 높은 정확도를 달성할 수 있는가?
• RQ4 기존 방법과 비교할 때 제안된 다중모달 공간 구조는 데이터 효율성과 성능 측면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 다중모달 엔티티 해상도 작업에서 짝지어진 훈련 데이터의 필요성을 크게 감소시킨다.
• 학습된 잠재 상관관계는 공유 표현 공간에서 이질적인 모달 간의 효과적인 정렬을 가능하게 한다.
• 기존 접근 방식에 비해 상당히 적은 레이블 데이터로도 경쟁적인 성능을 달성하는 분류 기반 모델이 성능을 내고 있다.
• 다중모달 공간 구조는 모달 간의 강력한 의미 관계를 포착함으로써 일반화 성능을 향상시킨다.
• 낮은 데이터 환경에서도 높은 성능을 보이며, 높은 데이터 효율성을 나타낸다.