[논문 리뷰] Term Set Expansion based on Multi-Context Term Embeddings: an End-to-end Workflow

Jonathan Mamou, Oren Pereg외 8명|arXiv (Cornell University)|2018. 07. 26.

Topic Modeling참고 문헌 5인용 수 7

한 줄 요약

SetExpander는 전통적인 bag-of-words 접근 방식보다 기능적 유사성 탐지 성능을 향상시키기 위해 다중 맥락 단어 임베딩을 사용하는 엔드 투 엔드, 코퍼스 기반 용어 집합 확장 시스템이다. 이 시스템은 반복적인 시드 선택, 확장, 검증 및 저장을 가능하게 하여 채용 시스템에서 94.5–98.0%의 정밀도를 달성하였고, 소프트웨어 공학 응용 분야에서 결함 탐지 정밀도를 10% 이상 향상시켰다.

ABSTRACT

We present SetExpander, a corpus-based system for expanding a seed set of terms into a more complete set of terms that belong to the same semantic class. SetExpander implements an iterative end-to end workflow for term set expansion. It enables users to easily select a seed set of terms, expand it, view the expanded set, validate it, re-expand the validated set and store it, thus simplifying the extraction of domain-specific fine-grained semantic classes. SetExpander has been used for solving real-life use cases including integration in an automated recruitment system and an issues and defects resolution system. A video demo of SetExpander is available at https://drive.google.com/open?id=1e545bB87Autsch36DjnJHmq3HWfSd1Rv (some images were blurred for privacy reasons).

연구 동기 및 목표

• 소규모 시드 용어 집합에서 미세한 도메인 특화 의미 클래스를 추출하는 데 도전하는 데 목적이 있다.
• 주제적 유사성뿐만 아니라 功能적 유사성을 포착하여 용어 집합 확장을 향상시키며, 특히 다수의 시드 용어가 포함된 경우에 특화되어 있다.
• 반복적 확장과 검증을 지원하는 실용적이고 상호작용 가능하며 확장 가능한 시스템을 개발하는 데 목적이 있다.
• 실제 자연어 처리 응용 분야(예: 채용 및 결함 해결)에 적합한 스케일링 가능하고 자동화된 의미적 용어 목록 생성을 가능하게 하는 데 목적이 있다.
• 이전 방법보다 정밀도와 효율성에서 뛰어난 성능을 보이는 오픈소스이자 프로덕션 준비 완료된 시스템을 제공하는 데 목적이 있다.

제안 방법

• 시스템은 선형, 문법적, 의존성 기반 맥락을 조합하여 기능적 유사성을 포착하는 다중 맥락 임베딩 방법을 사용한다.
• 정규화, 편집 거리, word2vec 유사도를 사용하여 용어 변형(예: 별칭, 약어)을 군집화하여 용어 그룹을 형성한다.
• 다층 퍼셉트론(MLP) 분류기가 시드 집합과의 유사도를 기반으로 후보 용어 그룹의 '신뢰도 점수'를 계산하여 순위를 매긴다.
• 시스템은 반복 워크플로우를 지원한다: 시드 선택 → 확장 → 검증 → 재확장 → 저장.
• 시스템은 NLP Architect 기반으로 구축되었으며 Apache 라이선스 하에 배포되어 실무 자연어 처리 파이프라인에 통합 가능하다.
• 코퍼스 기반 학습은 후보 용어를 추출하기 위해 명사구 추출을 사용하고, 용어 그룹 임베딩을 통해 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 기능적 유사성에 초점을 맞추어 주제적 유사성 외에 용어 집합 확장을 어떻게 향상시킬 수 있는가?
• RQ2 선형, 문법적, 의존성 등의 다중 맥락 유형을 어떻게 조합하여 집합 확장에 적합한 임베딩 품질을 향상시킬 수 있는가?
• RQ3 상호작용 가능하고 엔드 투 엔드 워크플로우는 실제 자연어 처리 응용 분야에서 용어 집합 확장의 사용성과 효과성을 어떻게 향상시킬 수 있는가?
• RQ4 다중 맥락 임베딩을 통해 의미적으로 관련 있지만 기능적으로 다른 용어로부터 노이즈를 얼마나 줄일 수 있는가?
• RQ5 반복적 확장과 검증은 도메인 특화 의미 클래스 추출의 정밀도와 확장성에 어떤 영향을 미칠 수 있는가?

주요 결과

• 채용 시스템에서 소프트웨어 머신러닝 엔지니어 직무에 대해 SetExpander는 상위 100명의 지원자에서 94.5%의 정밀도를 달성하였다.
• 펌웨어 엔지니어 직무에 대해 시스템은 98.0%의 정밀도를 기록하여 다양한 기술 도메인에서 높은 정확도를 입증하였다.
• ADAS 시니어 소프트웨어 엔지니어 직무에 대해 시스템은 70.5%의 정밀도를 기록하여 복잡하고 전문화된 도메인에서도 뛰어난 성능을 보였다.
• 결함 해결 시스템에 SetExpander를 통합함으로써 중복 탐지 정밀도가 10% 이상 향상되었다.
• 용어 목록 생성 시간이 수주에서 수시간으로 단축되어 시스템 배포 속도가 크게 향상되었다.
• 시스템의 반복 워크플로우 덕분에 사용자는 확장된 집합을 정교화하고 검증할 수 있었으며, 최종 출력 품질이 향상되었다.