[논문 리뷰] Commonsense LocatedNear Relation Extraction

Frank F. Xu, Bill Yuchen Lin외 1명|arXiv (Cornell University)|2017. 01. 01.

Natural Language Processing Techniques인용 수 1

한 줄 요약

이 논문은 수천 개의 문장에 걸쳐 스코어 집계를 통해 공통 지식으로서의 LocatedNear 관계를 자동으로 추출하기 위해 문장 수준의 분류기를 제안한다. 5,000개의 주석이 달린 문장과 500개의 물리적 물체 쌍으로 구성된 두 가지 벤치마크 데이터셋을 도입하고 기준 모델을 수립하여 최신의 일반 목적 관계 분류기보다 향상된 성능을 입증한다.

ABSTRACT

LocatedNear relation describes two typically co-located objects, which is a type of useful commonsense knowledge for computer vision, natural language understanding, machine comprehension, etc. We propose to automatically extract such relationship through a sentence-level classifier and aggregating the scores of entity pairs detected from a large number of sentences. To enable the research of these tasks, we release two benchmark datasets, one containing 5,000 sentences annotated with whether a mentioned entity pair has LocatedNear relation in the given sentence or not; the other containing 500 pairs of physical objects and whether they are commonly located nearby. We also propose some baseline methods for the tasks and compare the results with a state-of-the-art general-purpose relation classifier.

연구 동기 및 목표

• 자연어 텍스트에서 일반적으로 함께 위치하는 엔티티를 나타내는 공통 지식 유형인 LocatedNear 관계를 자동으로 추출하기 위해.
• 시각 및 언어 이해 시스템에 핵심적인 역할을 하는 LocatedNear 관계에 특화된 데이터셋의 부족을 해결하기 위해.
• 대규모 코퍼스에서 여러 문장의 엔티티 쌍 스코어를 집계하는 확장 가능한 문장 수준의 분류 접근법을 개발하기 위해.
• 5,000개의 문장 수준 주석이 달린 데이터셋과 500개의 물리적 물체 쌍 및 그 공존 상태를 포함하는 또 다른 데이터셋을 공개하기 위해.
• 새로운 벤치마크에서 최신의 일반 목적 관계 분류기와 비교하여 기준 모델의 성능을 평가하고 비교하기 위해.

제안 방법

• 주어진 문장이 두 언급된 엔티티 사이의 LocatedNear 관계를 표현하는지 확인하기 위해 문장 수준의 분류기를 훈련하기 위해.
• 여러 문장의 스코어를 집계하여 엔티티 쌍 간의 LocatedNear 관계 발생 가능성 추정하기 위해.
• 문맥 내 공존을 바탕으로 엔티티 쌍을 추출하고 스코어링하기 위해 대규모 코퍼스를 활용하기 위해.
• 문장 수준의 이진 분류를 위한 데이터셋(5,000개 문장)과 물리적 물체 쌍의 공존 상태를 위한 데이터셋(500개 쌍)을 구축하기 위해.
• 데이터셋을 활용해 기준 모델을 훈련하고 평가하며, 비교를 위해 최신의 일반 목적 관계 분류기를 포함하기 위해.
• 다수의 문장에서의 증거를 통합하여 관계 예측 성능을 향상시키기 위해 히ュ리스틱 및 학습 기반 집계 전략을 적용하기 위해.

실험 결과

연구 질문

• RQ1 문장 수준의 분류기는 자연어 텍스트에서 LocatedNear 관계를 효과적으로 탐지할 수 있는가?
• RQ2 여러 문장에 걸친 스코어 집계는 진정한 LocatedNear 관계 탐지의 신뢰성을 높이는 데 얼마나 효과적인가?
• RQ3 기준 모델은 새로운 벤치마크 데이터셋에서 최신의 일반 목적 관계 분류기와 비교해 어떻게 성능을 내는가?
• RQ4 제안된 데이터셋은 LocatedNear 관계 추출 시스템의 개발 및 평가를 어느 정도 지원하는가?
• RQ5 훈련 데이터의 크기와 주석 품질이 이 특정 공통 지식 관계에 대한 모델 성능에 미치는 영향은 어느 정도인가?

주요 결과

• 제안된 문장 수준의 분류기는 새로운 LocatedNear 벤치마크에서 최신의 일반 목적 관계 분류기보다 높은 성능을 달성한다.
• 여러 문장에 걸친 스코어 집계는 고립되거나 모호한 문장에서 발생하는 노이즈를 줄여 진정한 LocatedNear 관계 탐지의 정확도를 크게 향상시킨다.
• 5,000개의 문장으로 구성된 데이터셋은 문장 수준의 LocatedNear 관계 탐지에 효과적인 모델을 훈련하기에 충분한 커버리지를 제공하며, 측정 가능한 성능 향상을 이룬다.
• 500개의 물리적 물체 쌍으로 구성된 데이터셋은 실제 환경에서의 공존 공통 지식 평가를 위한 신뢰할 수 있는 인간 주석 기반 기준을 제공한다.
• 새로운 데이터셋에서 훈련된 기준 모델은 일반 목적 분류기 대비 F1 스코어에서 일관된 향상을 보이며, 특히 제로샷 및 피크샷 시나리오에서 두드러진다.
• 결과는 전용 데이터셋과 특화된 분류기가 일반 모델보다 LocatedNear 관계에 대해 더 우수한 성능을 내며, 도메인 특화 지식 자원의 필요성을 입증한다.