[논문 리뷰] Evaluating the Complementarity of Taxonomic Relation Extraction Methods Across Different Languages

Roger Granada, Renata Vieira외 2명|arXiv (Cornell University)|2018. 11. 08.

Natural Language Processing Techniques참고 문헌 75인용 수 4

한 줄 요약

이 논문은 영어 및 포르투갈어 코퍼스에서 최신의 분류 관계 추출 방법 7종을 평가하여 정밀도, 재현도 및 상호보완성 측면에서 성능을 비교한다. 분포 기반 방법은 높은 재현도를 달성하지만 정밀도가 낮고, 패턴 기반 방법은 높은 정밀도를 보이지만 재현도가 낮으며, 특히 문서 포함 관계를 활용한 패턴 기반 방법의 조합은 상호보완적인 결과를 도출해 전체 성능을 향상시킨다.

ABSTRACT

Modern information systems are changing the idea of "data processing" to the idea of "concept processing", meaning that instead of processing words, such systems process semantic concepts which carry meaning and share contexts with other concepts. Ontology is commonly used as a structure that captures the knowledge about a certain area via providing concepts and relations between them. Traditionally, concept hierarchies have been built manually by knowledge engineers or domain experts. However, the manual construction of a concept hierarchy suffers from several limitations such as its coverage and the enormous costs of its extension and maintenance. Ontology learning, usually referred to the (semi-)automatic support in ontology development, is usually divided into steps, going from concepts identification, passing through hierarchy and non-hierarchy relations detection and, seldom, axiom extraction. It is reasonable to say that among these steps the current frontier is in the establishment of concept hierarchies, since this is the backbone of ontologies and, therefore, a good concept hierarchy is already a valuable resource for many ontology applications. The automatic construction of concept hierarchies from texts is a complex task and much work have been proposing approaches to better extract relations between concepts. These different proposals have never been contrasted against each other on the same set of data and across different languages. Such comparison is important to see whether they are complementary or incremental. Also, we can see whether they present different tendencies towards recall and precision. This paper evaluates these different methods on the basis of hierarchy metrics such as density and depth, and evaluation metrics such as Recall and Precision. Results shed light over the comprehensive set of methods according to the literature in the area.

연구 동기 및 목표

• 동일한 데이터에 대해 다양한 언어에서 다수의 분류 관계 추출 방법의 성능를 비교하기 위해.
• 방법 간의 관계 예측이 상호보완적인지 또는 중복적인지 평가하기 위해.
• 깊이, 너비, 조밀도와 같은 지표를 사용하여 자동으로 생성된 분류 체계의 구조적 특성을 분석하기 위해.
• 다국어 코퍼스에서 방법 선택이 정밀도, 재현도, F-측정치에 미치는 영향을 평가하기 위해.
• 방법 조합을 통해 전체 추출 품질을 향상시킬 잠재력을 탐색하기 위해.

제안 방법

• 7종의 분류 관계 추출 방법을 구현함: 분포 기반 방법(예: TF, DF, SLQS, DSim), 패턴 기반 방법(Patt), 문서 포함 관계 방법(DocSub), 계층적 군집화 방법(HClust).
• 영어 및 포르투갈어의 평행 및 비교 가능한 코퍼스를 대상으로, 골드 표준 관계에 대한 자동 평가를 통해 방법을 평가함.
• 방법의 품질을 평가하기 위해 정밀도, 재현도, F-측정치를 계산하고, 언어별로 결과를 분석함.
• 생성된 분류 체계의 구조적 특성을 기술하기 위해 깊이, 너비, 조밀도와 같은 계층 지표를 계산함.
• 다양한 방법 간의 관계 집합 간 교차 및 합집합을 계산하여 상호보완성을 분석하고, 겹치는 예측과 고유한 예측을 식별함.
• 정규화 후 깊이와 구조적 명확도를 더 잘 평가하기 위해 분류 체계에 대해 이행 감소를 적용함.

실험 결과

연구 질문

• RQ1 영어 및 포르투갈어 코퍼스에서 어떤 방법이 가장 높은 정밀도와 재현도를 달성하는가?
• RQ2 동일한 방법들이 다양한 언어에서 일관되게 성능을 내는가, 아니면 언어 특유의 요소가 성능에 영향을 미치는가?
• RQ3 다른 방법이 생성한 분류 체계는 깊이와 너비 측면에서 구조적으로 유사한가, 아니면 상당한 차이를 보이는가?
• RQ4 다른 방법의 결과가 어느 정도 상호보완적인가, 그리고 어떤 조합이 가장 높은 성능을 내는가?
• RQ5 방법 특유의 편향(예: 높은 정밀도 대비 높은 재현도)이 전체 품질과 상호보완성에 어떤 영향을 미치는가?

주요 결과

• 분포 기반 방법(예: TF, DF, SLQS, DSim)은 높은 재현도(일반적으로 70% 이상)를 달성했지만 정밀도가 낮았음(40% 이하), 이는 많은 가짜 양성 결과를 의미함.
• 패턴 기반 방법(Patt)은 높은 정밀도(80% 이상)를 달성했지만 매우 낮은 재현도(20% 이하)를 보였음, 이는 텍스트 내 패턴의 가용성 부족 때문임.
• 분포 기반 방법에서 생성된 분류 체계는 상당히 깊었음(최대 경로 길이가 종종 >1), 그리고 좁았고, DocSub 및 HClust에서 생성된 분류 체계는 넓었지만 덜 깊었음.
• 문서 포함 관계 방법(DocSub)과 계층적 군집화 방법(HClust)은 패턴 기반 방법(Patt)과 강한 상호보완성을 보였으며, 특히 조합 시 F-측정치 향상에 기여함.
• DSim 방법은 많은 역관계(예: 'car is-a vehicle'과 'vehicle is-a car')를 생성하여 정규화 또는 필터링이 필요함을 시사함.
• 이행 감소를 적용한 결과, 분포 기반 방법은 더 복잡하고 깊은 분류 체계를 생성한 반면, DocSub 및 HClust는 더 단순하고 넓은 구조를 생성함.