[논문 리뷰] Enhanced Word Representations for Bridging Anaphora Resolution

Yufang Hou|arXiv (Cornell University)|2018. 03. 13.

Topic Modeling참고 문헌 13인용 수 3

한 줄 요약

이 논문은 전치사(예: X의 Y) 및 소유격(예: Y의 X) 명사구 구조를 활용하여 연관성 관련성을 포착하는 새로운 단어 임베딩 방법인 embeddings_PP를 제안한다. 이는 다수의 언어에서 공백 해석을 위한 핵심 요소이다. GloVe를 이러한 문맥에서 사용함으로써 embeddings_PP는 ISNotes 코퍼스에서 단독으로 30.32%의 정확도를 달성하며, 최신 기술 수준의 MLN 모델을 45.85%로 향상시켜 기존의 베이스라인 임베딩 및 이전 시스템을 모두 능가한다.

ABSTRACT

Most current models of word representations(e.g.,GloVe) have successfully captured fine-grained semantics. However, semantic similarity exhibited in these word embeddings is not suitable for resolving bridging anaphora, which requires the knowledge of associative similarity (i.e., relatedness) instead of semantic similarity information between synonyms or hypernyms. We create word embeddings (embeddings_PP) to capture such relatedness by exploring the syntactic structure of noun phrases. We demonstrate that using embeddings_PP alone achieves around 30% of accuracy for bridging anaphora resolution on the ISNotes corpus. Furthermore, we achieve a substantial gain over the state-of-the-art system (Hou et al., 2013) for bridging antecedent selection.

연구 동기 및 목표

• 표준 단어 임베딩이 브리징 앤티포라 해석을 위해 의미 유사성보다는 연관성 관련성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 명사구의 문법적 구조를 통해 앤티포어와 전치어 간의 관련성을 모델링하는 어휘 자원을 개발하기 위해.
• 기존 최신 기술 수준의 시스템을 초월하여 브리징 전치어 선택 성능을 향상시키기 위해.

제안 방법

• 전치사(예: X의 Y) 및 소유격(예: Y의 X) 명사구 구조에서 문맥을 추출하여 단어 임베딩을 구축한다.
• 이러한 문법적 문맥에서 GloVe 임베딩을 학습하여, 명사 간의 연관 관계를 인코딩하는 embeddings_PP를 생성한다.
• 임베딩 공간에서 전체 명사구를 표현하기 위해 헤드 명사와 전형적 공통명사의 벡터 평균을 사용한다.
• 임베딩_PP 벡터 간의 코사인 유사도를 계산하여 전치어와 후행 후보 간의 관련성을 측정한다.
• 기존의 마르코프 논리 네트워크(MLN) 모델에 embeddings_PP를 새로운 제약 조건으로 통합하여 공동 추론을 수행한다.
• 브리징 앤티포라 해석의 정확도를 측정함으로써 ISNotes 코퍼스에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 특히 전치사 및 소유격 구조를 포함한 명사구의 문법적 구조가 브리징 앤티포라를 위한 연관성 관련성을 효과적으로 모델링할 수 있는가?
• RQ2 이러한 구조에서 유도된 embeddings_PP가 GloVe와 같은 표준 단어 임베딩보다 브리징 앤티포라 해석에서 뛰어난 성능을 보일 수 있는가?
• RQ3 기존의 MLN 모델에 embeddings_PP를 통합하면 브리징 전치어 선택 성능이 크게 향상될 수 있는가?
• RQ4 embeddings_PP의 접미사 '_PP'가 관련성을 포착하는 데 핵심적인 요소인가?
• RQ5 헤드 명사 외에 전형적 수식어를 포함한 전체 명사구의 벡터 표현 방식이 헤드 명사 전용 표현 방식보다 이 작업에서 어떻게 비교되는가?

주요 결과

• embeddings_PP는 ISNotes 코퍼스에서 브리징 앤티포라 해석에 대해 단독으로 30.32%의 정확도를 달성하였으며, 원본 GloVe_GigaWiki14 모델(18.10%) 대비 12.22% 향상되었다.
• 접미사 '_PP'가 제거된 모델(embeddings_wo_PPSuffix)는 오직 22.17%의 정확도를 기록하여, 접미사가 의도된 관련성을 포착하는 데 필수적임을 시사한다.
• embeddings_PP를 MLN 모델 II에 통합함으로써 성능이 45.85%로 향상되었으며, 원본 MLN 모델 II(41.32%) 대비 4.53%p의 절대적 향상이 이루어졌다.
• GloVe_GigaWiki14나 embeddings_wo_PPSuffix를 특징으로 추가하면 MLN 모델 II의 성능이 약간 떨어지므로, embeddings_PP는 고유하고 상호 보완적인 신호를 제공함을 시사한다.
• embeddings_PP를 사용한 헤드 명사와 전형적 공통명사의 벡터 평균은 전체 명사구 의미를 효과적으로 표현할 수 있으며, 전치어 선택 성능을 향상시킨다.