[논문 리뷰] Deep Reinforcement Learning for Chinese Zero pronoun Resolution

Qingyu Yin, Yu Zhang외 3명|arXiv (Cornell University)|2018. 06. 10.

Natural Language Processing Techniques참고 문헌 26인용 수 12

한 줄 요약

이 논문은 중국어 제로 프로노운 해석을 위한 딥 강화학습 프레임워크를 제안하며, 전행자 선택을 순차적 결정 과정으로 모델링하여 이전에 예측한 전행자를 활용해 장기적 결정 정확도를 향상시킨다. 정책 기반 강화학습을 사용해 전반적인 성능을 최적화함으로써, OntoNotes 5.0 데이터셋에서 기존 방법들을 능가하는 최신 기술 수준의 F-스코어 67.2%를 달성한다.

ABSTRACT

Deep neural network models for Chinese zero pronoun resolution learn semantic information for zero pronoun and candidate antecedents, but tend to be short-sighted---they often make local decisions. They typically predict coreference chains between the zero pronoun and one single candidate antecedent one link at a time, while overlooking their long-term influence on future decisions. Ideally, modeling useful information of preceding potential antecedents is critical when later predicting zero pronoun-candidate antecedent pairs. In this study, we show how to integrate local and global decision-making by exploiting deep reinforcement learning models. With the help of the reinforcement learning agent, our model learns the policy of selecting antecedents in a sequential manner, where useful information provided by earlier predicted antecedents could be utilized for making later coreference decisions. Experimental results on OntoNotes 5.0 dataset show that our technique surpasses the state-of-the-art models.

연구 동기 및 목표

• 기존 딥 러닝 모델의 제로 프로노운 해석 한계를 해결하기 위해, 향후 예측에 대한 장기적 영향을 고려하지 않는 국소적 결정을 내리는 문제를 해결한다.
• 이전에 예측한 전행자에서 유래한 언어적 단서를 활용해 전반적 맥락을 통합하여 후속 공명 결정을 안내한다.
• 강화학습을 활용해 제로 프로노운 해석을 순차적 결정 과정으로 공식화함으로써, 개별 링크 예측이 아닌 전체 성능 최적화를 가능하게 한다.
• 즉각적인 결정과 장기적 결과 간의 균형을 학습하는 정책을 통해 공명적 제로 프로노운 해석의 정확도를 향상시킨다.

제안 방법

• 주어진 제로 프로노운에 대해 이전에 예측된 모든 전행자를 대표 벡터로 인코딩하여, 이후 공명 결정을 안내하는 맥락 정보로 사용한다.
• 정책 기반 딥 강화학습 에이전트를 사용해 전행자를 점진적으로 선택하며, 이때 행동은 제로 프로노운을 후보 언급어에 연결하는 것을 의미한다.
• 전체 공명 체인의 품질에 기반한 글로벌 보상 신호를 수신함으로써, 개별 링크가 아닌 전체 예측 시퀀스의 최적화가 가능해진다.
• 신경망을 사용해 제로 프로노운과 후보 전행자를 인코딩하며, 예측된 전행자 역사에 따라 은닉 상태를 업데이트한다.
• 정책 기반 강화학습을 통해 정책을 최적화함으로써, 누적 보상 증가에 기여하는 결정을 학습할 수 있다.
• 프레임워크는 최종 공명 체인 구조에 대한 지도 학습만을 사용해 OntoNotes 5.0 데이터셋에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트가 전행자 예측 간 장기적 의존성을 모델링함으로써 제로 프로노운 해석 성능을 향상시킬 수 있는가?
• RQ2 이전에 예측한 전행자 정보를 활용할 경우, 후속 공명 결정의 정확도는 어떻게 영향을 받는가?
• RQ3 정책 기반 강화학습 접근 방식이 각 제로 프로노운에 대해 독립적이고 국소적인 예측을 내리는 표준 딥 러닝 모델을 능가할 수 있는가?
• RQ4 국소적 손실 최소화 대비 전반적 성능 지표 최적화가 최종 F-스코어 향상에 얼마나 기여하는가?

주요 결과

• 제안된 딥 강화학습 모델은 OntoNotes 5.0 테스트 세트에서 F-스코어 67.2%를 달성하여 이전의 최신 기술 수준 모델들을 모두 능가한다.
• 각 제로 프로노운-후보 쌍에 대해 고립된 국소적 결정을 내리는 베이스라인 신경망 모델보다 유의미하게 뛰어난 성능을 보인다.
• 이전에 예측한 전행자 정보를 통합할 경우, 특히 모호한 경우에서 후속 공명 링크에 대한 예측 정확도가 향상된다.
• 정책 기반 강화학습 접근 방식을 통해 모델은 전반적 의사결정 정책을 학습할 수 있으며, 이는 단기적 국소 예측으로 인한 오류를 줄이는 데 기여한다.