[논문 리뷰] Towards better substitution-based word sense induction

Asaf Amrami, Yoav Goldberg|arXiv (Cornell University)|2019. 05. 29.

Topic Modeling참고 문헌 16인용 수 50

한 줄 요약

본 논문은 substitution-based WSI를 Bert-based substitutes와 dynamic clustering으로 확장하고, 각 의미(sense)별 substitute 시그니처를 통한 해석 가능성을 도입하며, 실패 모드에 대한 오류 분석을 제시한다.

ABSTRACT

Word sense induction (WSI) is the task of unsupervised clustering of word usages within a sentence to distinguish senses. Recent work obtain strong results by clustering lexical substitutes derived from pre-trained RNN language models (ELMo). Adapting the method to BERT improves the scores even further. We extend the previous method to support a dynamic rather than a fixed number of clusters as supported by other prominent methods, and propose a method for interpreting the resulting clusters by associating them with their most informative substitutes. We then perform extensive error analysis revealing the remaining sources of errors in the WSI task. Our code is available at https://github.com/asafamr/bertwsi.

연구 동기 및 목표

• 강력한 컨텍스트 LMs(BERT)에서 파생된 substitution 벡터를 활용하여 단어 의미 추론(WSI)을 향상시킨다.
• 목표 단어당 고정된 의미 수에서 동적 의미 수로 전환한다.
• 정보성이 있는 substitutes(시그니처)로 의미 클러스터의 해석 가능성을 향상시킨다.
• 향후 연구를 위한 남은 WSI의 오류 모드를 진단한다.

제안 방법

• LSDP 프레임워크에서 ELMo 기반 substitutions를 BERT 기반 substitutions로 대체한다.
• 더 나은 substitute를 얻기 위해 dynamic patterns(괄호 내 패턴 및 관련 패턴)을 통합한다.
• 대표 샘플의 소프트 클러스터링(k*r samples per instance)을 사용하여 대표에 대한 하드 클러스터링과 인스턴스에 대한 소프트 클러스터링을 생성한다.
• 동적 의미 수 절차를 도입한다: 최대 10개의 의미를 과잉생성하고, 의미를 strong/weak으로 분류한 뒤 weak를 strong으로 병합한다; 그에 따라 재클러스터링한다.
• 각 의미에 대해 상위 substitute를 PMI 기반 시그니처로 계산하여 클러스터를 해석한다.

실험 결과

연구 질문

• RQ1 ELMo를 BERT로 대체한 substitution-based WSI가 표준 벤치마크에서 성능을 향상시키는가?
• RQ2 목표 단어당 동적 의미 수를 허용하는 것이 고정된 의미 수 접근법보다 WSI 품질을 향상시키는가?
• RQ3 각 의미별 substitute 시그니처가 WSI 클러스터의 해석 가능성과 오류 분석을 개선하는가?
• RQ4 치환 기반 WSI의 남은 오류 모드는 무엇이며 이를 어떻게 완화할 수 있는가?

주요 결과

모델	FNMI	FBC	AVG
당사	21.4 (0.5)	64.0 (0.5)	37.0 (0.5)
당사:ND	19.3 (0.7)	63.6 (0.2)	35.1 (0.6)
LSDP	25.4	57.5	25.4
AutoSense	7.96	61.7	22.16
MCC-S	7.62	55.6	20.58
ST(SW)	7.14	55.4	19.89
AI-KU	6.5	39.0	15.92
--	--	--	--
--	--	--	--

• BERT 기반 substitution과 동적 패턴은 SemEval 2013 Task 13 및 2010 Task 14에서 최첨단 성능을 달성하며; 동적 패턴은 강력한 BERT 성능 위에 AVG에 약 2포인트를 더한다.
• 고정된 7-의 의미 설정은 이 작업에서 좋은 성능을 보이나, Weak/Strong 가지치기를 통한 dynamic 10-sense overgeneration은 다양한 입자성에 접근하는 합리적인 방법을 제공한다.
• Dynamic-sense induction은 SemEval 2013의 AVG를 향상시키지는 못했지만, 합리적인 의미 구조를 산출하고 골드 의미 수와 Spearman 상관계수 0.43±0.05를 보여주었으며, oracle-like 튜닝은 대략 0.44의 coarse-grained NOAD 기반 베이스라인과 일치한다.
• PMI 기반 시그니처를 통한 클러스터 해석 가능성은 핵심 의미 특징을 드러내고 SPLIT, MERGE, TOPIC, TEMPLATE, LM 관련 오류를 진단하는 데 도움이 된다.
• 오류 분석은 주요 실패 모드로 LM substitutions 오류, SPLIT/MERGE 구분, TOPIC substitutions, TEMPLATE 패턴 및 기타 비일관한 클러스터를 식별한다.