[논문 리뷰] Automatic Context Pattern Generation for Entity Set Expansion

Yinghui Li, Shulin Huang외 7명|arXiv (Cornell University)|2022. 07. 17.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 고도로 정제된 수동 주석이 필요한 코퍼스에 의존하지 않고도 고품질의 맥락 패턴을 생성하는 코퍼스 독립적 엔티티 세트 확장 프레임워크인 GAPA를 제안한다. 이는 두 개의 반대 방향 GPT-2 모델을 활용하여 맥락 패턴을 생성함으로써, 주석된 코퍼스에 의존하지 않고도 엔티티 확장을 가능하게 한다. 본 방법은 자동으로 생성된 맥락 패턴을 활용하여 유사도 점수 기반으로 반복적인 엔티티 확장을 유도함으로써 벤치마크 데이터셋에서 경쟁 가능한 성능을 달성한다.

ABSTRACT

Entity Set Expansion (ESE) is a valuable task that aims to find entities of the target semantic class described by given seed entities. Various Natural Language Processing (NLP) and Information Retrieval (IR) downstream applications have benefited from ESE due to its ability to discover knowledge. Although existing corpus-based ESE methods have achieved great progress, they still rely on corpora with high-quality entity information annotated, because most of them need to obtain the context patterns through the position of the entity in a sentence. Therefore, the quality of the given corpora and their entity annotation has become the bottleneck that limits the performance of such methods. To overcome this dilemma and make the ESE models free from the dependence on entity annotation, our work aims to explore a new ESE paradigm, namely corpus-independent ESE. Specifically, we devise a context pattern generation module that utilizes autoregressive language models (e.g., GPT-2) to automatically generate high-quality context patterns for entities. In addition, we propose the GAPA, a novel ESE framework that leverages the aforementioned GenerAted PAtterns to expand target entities. Extensive experiments and detailed analyses on three widely used datasets demonstrate the effectiveness of our method. All the codes of our experiments are available at https://github.com/geekjuruo/GAPA.

연구 동기 및 목표

• 고품질의 수동 주석이 필요한 코퍼스에 크게 의존하는 기존 코퍼스 기반 ESE 방법의 한계를 해결하기 위해.
• 주석된 학습 코퍼스가 필요 없도록 하여 엔티티 주석 품질의 제약을 제거하기 위해.
• 사전 학습된 언어 모델을 통해 자동으로 맥락 패턴을 생성하는 새로운 패러다임인 코퍼스 독립적 ESE를 탐색하기 위해.
• 세밀한 의미적 구분을 반영하는 맥락 패턴을 활용하여 엔티티 확장 성능을 향상시키기 위해.
• 반복적인 시드 세트 개선을 통해 동적으로 보조 신호를 강화하는 프레임워크를 개발하기 위해.

제안 방법

• 각 엔티티 주변의 맥락 패턴(이전 텍스트 및 이후 텍스트)을 생성하기 위해 좌에서 우로, 우에서 좌로 각각 작동하는 두 개의 별도 GPT-2 모델을 활용한다.
• 역방향 GPT-2 모델은 뒤집힌 코퍼스에 대해 피나이팅되어 우에서 좌로의 일관된 텍스트 생성이 가능하게 하여 고품질의 맥락 패턴 생성을 보장한다.
• 생성된 패턴에서 맥락 표현을 추출하고, 유사한 엔티티는 유사한 맥락을 공유한다는 가정에 기반해 엔티티 유사도를 계산한다.
• 반복적인 확장 과정에서 시드 엔티티와의 맥락 유사도를 기반으로 후보 엔티티를 점수 매기고, 각 라운드에서 상위 순위의 엔티티를 시드 세트에 추가한다.
• 보조 신호 강화 모듈은 엔티티 유사도를 기반으로 시드 세트와 후보 세트를 업데이트하여 희소 보조 신호 문제를 완화한다.
• 프레임워크는 완전히 엔드 투 엔드이며, 주석된 코퍼스나 엔티티 주석이 전혀 필요 없어 코퍼스 독립적 운영이 가능하다.

실험 결과

연구 질문

• RQ1 주석된 코퍼스에 의존하지 않고도 엔티티 세트 확장을 위한 맥락 패턴을 효과적으로 생성할 수 있는가?
• RQ2 역방향 자동 회귀 언어 모델이 엔티티에 대해 유창하고 관련성이 높은 맥락 패턴을 생성할 수 있는가?
• RQ3 자동으로 생성된 패턴을 사용하는 코퍼스 독립적 ESE 프레임워크가 기존의 코퍼스 기반 방법보다 우수한 성능을 보일 수 있는가?
• RQ4 생성된 패턴이 특정한 의미적 클래스, 예를 들어 한 국가 내에서 성과 도시를 구분하는 데 얼마나 잘 기능하는가?
• RQ5 특히 중첩되거나 모호한 엔티티 언급에 대해 이 방법의 실패 모드는 어떠한가?

주요 결과

• GAPA 프레임워크는 주석된 코퍼스나 엔티티 주석이 전혀 필요 없이도 널리 사용되는 세 가지 ESE 벤치마크에서 경쟁 가능한 성능을 달성한다.
• 맥락 패턴 생성 모듈은 다양한 의미적 클래스에 대해 질적 사례 연구를 통해 고품질, 유창하고 관련성이 높은 패턴을 생성함을 입증했다.
• 양방향 GPT-2 모델의 사용은 관련 엔티티를 암묵적으로 인코딩하는 맥락 패턴을 생성함으로써 의미 표현을 향상시킨다.
• 본 방법은 '안후이'(성)와 '난징'(도시)을 같은 국가 내에서의 세부 의미적 하위클래스로 잘못 확장하는 것을 효과적으로 방지한다.
• 맥락 패턴 노이즈로 인해 '미시시피 강'과 같은 중첩된 엔티티가 잘못 확장되는 경우가 간혹 발생하므로, 오답 확장을 줄이기 위해 개선된 디코딩 전략이 필요하다는 점을 시사한다.
• 실험 결과는 보조 신호 강화 모듈이 희소 보조 신호 문제를 효과적으로 완화하여 반복적 확장의 안정성과 정확도를 향상시킨다는 것을 확인한다.