[논문 리뷰] Inferring Concept Hierarchies from Text Corpora via Hyperbolic Embeddings

Matt Le, Stephen Roller외 3명|arXiv (Cornell University)|2019. 01. 01.

Topic Modeling참고 문헌 55인용 수 21

한 줄 요약

이 논문은 헤르스트 패턴과 쌍곡기하학 임bedding을 결합하여 텍스트 코퍼스에서 개념 계층 구조를 유추하는 새로운 방법을 제안한다. 이는 쌍곡기하학적 공간의 계층적 기하학적 성질을 활용하여 이행성, 효율성, 해석 가능성의 향상을 이루며, 다양한 초위계 관계 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하면서도 SVD 기반 방법 대비 임bedding 차원을 한 차수 이상 감소시킨다.

ABSTRACT

We consider the task of inferring is-a relationships from large text corpora. For this purpose, we propose a new method combining hyperbolic embeddings and Hearst patterns. This approach allows us to set appropriate constraints for inferring concept hierarchies from distributional contexts while also being able to predict missing is-a relationships and to correct wrong extractions. Moreover -- and in contrast with other methods -- the hierarchical nature of hyperbolic space allows us to learn highly efficient representations and to improve the taxonomic consistency of the inferred hierarchies. Experimentally, we show that our approach achieves state-of-the-art performance on several commonly-used benchmarks.

연구 동기 및 목표

• 대규모 텍스트 코퍼스에서 정확하고 일관되며 효율적인 개념 계층을 유추하는 문제에 대응하기 위해.
• 헤르스트 패턴과 같은 패턴 기반 방법의 한계, 즉 희박성과 거짓 음성 결과를 해결하기 위해.
• 분포 기반 방법을 향상시키기 위해 쌍곡기하학을 통한 계층적 인도적 편향을 통합하기 위해.
• 자연어 내 분류 구조를 저차원이면서도 매우 효과적인 표현으로 가능하게 하기 위해.

제안 방법

• 대규모 텍스트 코퍼스(GigaWord + 위키백과)에서 헤르스트 패턴을 사용해 잠재적 is-a 관계를 추출하여 방향성 있고 가중치가 부여된 헤르스트 그래프를 구성한다.
• 로렌츠 모델을 사용해 쌍곡기하 공간에 해당 그래프를 임베딩하며, 그 내재된 계층적 기하학적 성질을 활용한다.
• 이행성을 강제하고 최적화를 향상시키기 위해 로렌츠 모델에서 쌍곡기하학적 함의 원뿔을 계산하는 새로운 방법을 제안한다.
• 임bedding의 노름을 용어의 일반성, 거리는 의미 유사성을 캡처하도록 한다.
• 기하학적 제약 조건을 통해 누락된 초위계 관계 예측 및 잘못 추출된 관계 수정에 모델을 적용한다.
• 관측된 헤르스트 패턴 추출 결과를 가장 잘 설명하면서도 분류 일관성을 유지하는 데 최적화된 공동 임베딩을 생성한다.

실험 결과

연구 질문

• RQ1 유도적 기하학적 공간을 사용할 경우, 유클리드 기반 또는 SVD 기반 방법에 비해 추론된 개념 계층의 일관성과 정확도가 향상되는가?
• RQ2 쌍곡기하학 기반 접근이 성능을 유지하거나 향상시키면서도 필요한 임베딩 차원을 얼마나 줄일 수 있는가?
• RQ3 제안된 방법이 분류체 내 누락된 관계와 이행적 초위계 관계를 얼마나 효과적으로 복원하는가?
• RQ4 헤르스트 패턴과 쌍곡기하학 임베딩의 조합이 표준 초위계 관계 벤치마크에서 기존 최신 기술 수준(SOTA) 방법을 능가하는가?
• RQ5 쌍곡기하학적 공간의 기하학적 구조가 의미 유사성과 계층 구조를 하나의 벡터 공간에 동시에 캡처함으로써 설명 가능성의 향상을 이끌어내는가?

주요 결과

• 제안된 HYPECONES 방법은 BLESS, LEDS, EVAL, SHWARTZ, WBLESS, BIBLESS, HYPERLEX 포함 총 9개의 초위계 관계 벤치마크 중 7개에서 최신 기술 수준(SOTA) 성능을 달성하였다.
• HYPERLEX 데이터셋에서 이 방법은 슼머의 상관계수 0.59를 기록하며, 이는 이전의 파인카레 GLOVE(0.341)를 크게 앞서며 SVD 기반 기준선과 동등하거나 이를 초월하였다.
• WBLESS 벤치마크에서 이 방법은 90.9%의 정확도를 기록하여 이전 방법에 비해 뚜렷한 향상을 보이며, 탐지 작업에서 강력한 성능을 입증하였다.
• 이 방법은 SVD 기반 기준 300D에서 20D로 임베딩 차원을 감소시키면서도 성능을 유지하거나 향상시켰다. 이는 효율성의 향상을 시사한다.
• 제거 분석 결과, 쌍곡기하학적 함의 원뿔이 이행성을 향상시키며, 직접 경로가 헤르스트 그래프에 존재하지 않더라도 (남성 말, is-a, 말)와 같은 누락된 이행적 관계를 정확히 유추함을 확인하였다.
• WORDNET 하위수열(동물, 식물, 차량 등)의 재구성 결과, 최고의 비쌍곡기하학 기반 기준선 대비 상대적 향상률이 40% 이상으로 나타나, 이 방법이 전체 분류체 복원 능력을 보유하고 있음을 검증하였다.