[논문 리뷰] Who Should Go First? A Self-Supervised Concept Sorting Model for Improving Taxonomy Expansion

Xiangchen Song, Jiaming Shen외 2명|arXiv (Cornell University)|2021. 04. 08.

Topic Modeling참고 문헌 32인용 수 5

한 줄 요약

이 논문은 새로운 개념들 간의 하위개념-상위개념 관계를 공동으로 학습하고, 계층도 확장 시 최적의 삽입 순서를 결정함으로써 임의의 삽입 순서로 인한 오류 전파를 방지하는 자기지도 학습 프레임워크인 TaxoOrder를 제안한다. 학습된 관계와 히وري스틱 패턴을 결합하여 가짜 간선을 생성하고, 위상 정렬을 적용함으로써 실제 데이터셋에서 여러 지표에 걸쳐 확장 품질을 크게 향상시킨다.

ABSTRACT

Taxonomies have been widely used in various machine learning and text mining systems to organize knowledge and facilitate downstream tasks. One critical challenge is that, as data and business scope grow in real applications, existing taxonomies need to be expanded to incorporate new concepts. Previous works on taxonomy expansion process the new concepts independently and simultaneously, ignoring the potential relationships among them and the appropriate order of inserting operations. However, in reality, the new concepts tend to be mutually correlated and form local hypernym-hyponym structures. In such a scenario, ignoring the dependencies of new concepts and the order of insertion may trigger error propagation. For example, existing taxonomy expansion systems may insert hyponyms to existing taxonomies before their hypernym, leading to sub-optimal expanded taxonomies. To complement existing taxonomy expansion systems, we propose TaxoOrder, a novel self-supervised framework that simultaneously discovers the local hypernym-hyponym structure among new concepts and decides the order of insertion. TaxoOrder can be directly plugged into any taxonomy expansion system and improve the quality of expanded taxonomies. Experiments on the real-world dataset validate the effectiveness of TaxoOrder to enhance taxonomy expansion systems, leading to better-resulting taxonomies with comparison to baselines under various evaluation metrics.

연구 동기 및 목표

• 임의의 삽입 순서로 인한 계층도 확장 시 오류 전파 문제를 해결하기 위해.
• 기존의 독립적 삽입 접근 방식에서 忽시되는 새로운 개념들 간의 상위개념-하위개념 관계를 탐지하기 위해.
• 라벨이 없는 데이터가 필요 없이 높은 품질의 삽입 순서를 결정하는 자기지도 학습 프레임워크를 개발하기 위해.
• 기존 계층도 확장 시스템과 원활하게 통합되어 확장된 계층도의 품질을 향상시키기 위해.
• 정서적 관계를 기반으로 개념 삽입 순서를 자동화함으로써 인간 전문가의 부담을 줄이기 위해.

제안 방법

• TaxoOrder는 자기지도 학습 방식을 사용하여 기존 계층도에서 상위개념-하위개념 관계를 먼저 학습한다.
• 표면 이름 일치 등과 같은 히وري스틱 패턴을 적용하여 새로운 개념들 간의 가짜 간선을 생성함으로써 잠재적인 상위개념-하위개념 관계를 인코딩한다.
• 이러한 가짜 간선으로부터 방향성 있는 사이클 없는 그래프(DAG)를 구성하여 새로운 개념들 간의 관계 구조를 표현한다.
• DAG에 위상 정렬을 적용하여 상위개념이 하위개념보다 먼저 삽입되는 유효한 삽입 순서를 결정한다.
• 최종적으로 도출된 순서를 사용해 기존의 계층도 확장 시스템을 안내함으로써, 하위개념이 기존에 존재하는 잠재적 부모 개념이 없이 삽입되는 것을 방지한다.
• 이 방법은 엔드 투 엔드로 훈련 가능하며, 기존의 확장 파이프라인과 즉각적으로 통합 가능한 플러그 앤 플레이 설계를 갖춘다.

실험 결과

연구 질문

• RQ1 자기지도 모델이 계층도 확장 과정에서 새로운 개념들 간의 상위개념-하위개념 관계를 효과적으로 탐지할 수 있는가?
• RQ2 새로운 개념들에 대한 최적의 삽입 순서를 결정함으로써 확장된 계층도의 품질이 상당히 향상되는가?
• RQ3 패턴 기반 히وري스틱과 학습된 관계를 통합함으로써 삽입 순서의 강건성과 커버리지가 어떻게 향상되는가?
• RQ4 임의의 또는 무작위 삽입 순서 대비 TaxoOrder는 오류 전파를 어느 정도 줄이는가?
• RQ5 제안된 프레임워크는 기존의 계층도 확장 시스템과 효과적으로 통합되어 성능 향상에 기여하는가?

주요 결과

• TaxoOrder는 두 개의 실제 데이터셋에서 F1, 정밀도, 재현율 등의 여러 평가 지표에서 랜덤 및 패턴 전용 삽입 순서 기반 기준선 방법들을 상당히 뛰어넘는 성능을 보였다.
• 확장된 계층도에서 잘못된 간선 수(ENC)가 크게 감소하여 지표 기반 삽입 순서에 비해 거의 최적에 가까운 성능을 달성했다.
• 제거 실험을 통해 자기지도 관계 학습과 패턴 강화 가짜 간선 생성 모두 최종 성능에 기여하는 것으로 확인되었다.
• 기존 확장 시스템에 TaxoOrder를 통합함으로써, 기반 확장 모델이 완벽하지 않더라도 더 높은 품질의 계층도를 도출할 수 있었다.
• 패턴 기반 방법만 사용하는 것보다 더 많은 관계를 커버함으로써 DAG 내의 고립된 개념 수를 효과적으로 줄였다.
• 결과적으로 상위개념-하위개념 관계의 상대적 일반성 점수를 학습하는 것이 존재하는 계층도의 구조를 암기하는 것보다 일반화와 강건성에 핵심적인 역할을 한다는 점을 입증했다.