[논문 리뷰] A Deep Neural Network for Chinese Zero Pronoun Resolution

Qingyu Yin, Weinan Zhang외 2명|arXiv (Cornell University)|2016. 04. 20.

Natural Language Processing Techniques참고 문헌 31인용 수 6

한 줄 요약

이 논문은 중국어의 영어 없는 대명사 해석을 위해 ZP 중심의 LSTM을 활용해 의미적 맥락을 모델링하고, 국소적 및 전반적 전행자 정보를 포착하는 이중 수준의 후보 인코더를 갖춘 영어 없는 대명사 전용 신경망(ZPSNN)을 제안한다. OntoNotes 5.0에서의 실험 결과, 다양한 설정에서 최신 기술을 초월하는 성능을 보였다.

ABSTRACT

Existing approaches for Chinese zero pronoun resolution overlook semantic information. This is because zero pronouns have no descriptive information, which results in difficulty in explicitly capturing their semantic similarities with antecedents. Moreover, when dealing with candidate antecedents, traditional systems simply take advantage of the local information of a single candidate antecedent while failing to consider the underlying information provided by the other candidates from a global perspective. To address these weaknesses, we propose a novel zero pronoun-specific neural network, which is capable of representing zero pronouns by utilizing the contextual information at the semantic level. In addition, when dealing with candidate antecedents, a two-level candidate encoder is employed to explicitly capture both the local and global information of candidate antecedents. We conduct experiments on the Chinese portion of the OntoNotes 5.0 corpus. Experimental results show that our approach substantially outperforms the state-of-the-art method in various experimental settings.

연구 동기 및 목표

• 영어 없는 대명사(ZPs)에 대한 의미 정보가 부족하여 전행자와의 의미 유사도 계산이 어렵다는 문제를 해결하기 위해.
• 기존 모델이 후보 전행자를 별개로 다루며 상호 간의 전반적 맥락적 관계를 忽略한다는 한계를 극복하기 위해.
• 영어 없는 대명사의 의미를 주변 맥락을 통해 모델링하고, 후보 전행자의 국소적 및 전반적 특징을 모두 포착함으로써 영어 없는 대명사 해석을 향상시키기 위해.
• 딥 러닝을 활용해 영어 없는 대명사와 후보 전행자를 효과적으로 표현하는 신경망 아키텍처를 개발하여, 해석 정확도를 향상시키기 위해.

제안 방법

• 영어 없는 대명사의 앞서는 맥락과 뒤이어 오는 맥락을 모두 모델링하는 ZP 중심의 LSTM을 제안하여 의미 수준의 표현을 생성한다.
• 이중 수준의 후보 전행자 인코더를 도입: 국소 인코더는 개별 후보의 맥락과 내용을 처리하고, 전역 인코더는 후보 집합 내 다른 후보들로부터 정보를 통합한다.
• 어휘 특징을 표현하기 위해 단어 임베딩을 사용하고, 다단어 전행자에서 정보가 많은 부분에 집중하기 위해 어텐션 메커니즘을 적용한다.
• 국소 및 전역 표현을 통합한 기반으로 후보 집합에서 가장 가능성이 높은 전행자를 선택하기 위해 순위 기반 디코딩 전략을 사용한다.
• 크로스 엔트로피 손실을 사용하여 중국어 OntoNotes 5.0 코퍼스에서 지도 학습을 통해 모델을 종합적으로 훈련시킨다.
• 특히 앞선 맥락이 없는 문장 시작부분의 영어 없는 대명사에 대해 맥락 모델링을 향상시키기 위해 문장 수준의 이력 벡터를 활용한다.

실험 결과

연구 질문

• RQ1 주변 맥락을 통해 영어 없는 대명사의 의미를 모델링하면 해석 정확도가 향상되는가?
• RQ2 기타 후보 전행자들로부터의 전반적 정보를 통합하면 개별 후보의 표현이 향상되는가?
• RQ3 이중 수준의 인코딩 전략을 가진 딥 뉴럴 네트워크가 국소적 특징만 사용하는 모델보다 우수한가?
• RQ4 앞선 맥락이 없는 문장 경계에 위치한 영어 없는 대명사에 대해 모델의 성능은 어떠한가?
• RQ5 모델이 영어 없는 대명사 유사 후보(예: ‘我’, ‘你’)에 대한 과도한 의존성으로 인한 오류를 어느 정도 줄이는가?

주요 결과

• 제안된 ZPSNN은 OntoNotes 5.0의 중국어 부분에서 최신 기술을 초월하는 성능을 달성하였으며, 모든 실험 설정에서 기존 방법을 능가하였다.
• 이중 수준의 후보 인코더는 국소 맥락과 후보 간 전반적 관계를 모두 포착함으로써 해석 성능을 크게 향상시켰다.
• ZP 중심의 LSTM은 의미 맥락을 효과적으로 인코딩하여, 표면 형태가 없는 영어 없는 대명사의 표현을 향상시켰다.
• 특히 문장 시작부분의 영어 없는 대명사에 대해, 영어 없는 대명사 유사 후보에 대한 과도한 피팅을 줄여 오류를 감소시켰다.
• 전역 인코더는 국소 특징이 유사하지만 논의 역할이 다른 후보들을 구분함으로써 모호한 케이스를 해결하는 데 기여하였다.
• 제거 실험 결과, 국소 및 전역 인코딩 구성 요소가 모두 모델 성능 향상에 기여한다는 것이 확인되었다.