[논문 리뷰] A Public Reference Implementation of the RAP Anaphora Resolution Algorithm

Long Qiu, Min‐Yen Kan외 1명|ArXiv.org|2004. 06. 17.

Natural Language Processing Techniques참고 문헌 6인용 수 75

한 줄 요약

이 논문은 제3인칭 대명사, 어휘적 반복어, 과잉 대명사 등을 해결하기 위한 RAP 비동사 해석 알고리즘의 공개된 독립형 레퍼런스 구현체인 JavaRAP을 제시한다. 이는 Charniak(2000) 파서를 입력으로 사용하며, 비동사-전행어 쌍을 출력하거나 입력 텍스트 내에서 직접 교체를 수행하며, MUC-6 공통성 작업에서 57.9%의 정확도를 달성하여 이전 문헌의 결과와 일치한다.

ABSTRACT

This paper describes a standalone, publicly-available implementation of the Resolution of Anaphora Procedure (RAP) given by Lappin and Leass (1994). The RAP algorithm resolves third person pronouns, lexical anaphors, and identifies pleonastic pronouns. Our implementation, JavaRAP, fills a current need in anaphora resolution research by providing a reference implementation that can be benchmarked against current algorithms. The implementation uses the standard, publicly available Charniak (2000) parser as input, and generates a list of anaphora-antecedent pairs as output. Alternately, an in-place annotation or substitution of the anaphors with their antecedents can be produced. Evaluation on the MUC-6 co-reference task shows that JavaRAP has an accuracy of 57.9%, similar to the performance given previously in the literature (e.g., Preiss 2002).

연구 동기 및 목표

• 비동사 해석 연구를 위한 벤치마킹을 위해 공개 가능하고 독립형 레퍼런스 구현체를 제공하는 것.
• 표준 구현체를 제공하여 보다 새로운 비동사 해석 알고리즘과 비교할 수 있도록 함으로써 재현 가능한 연구를 지원하는 것.
• 일致하고 잘 문서화된 도구를 통해 연구자들이 RAP 알고리즘을 평가하고 확장할 수 있도록 하는 것.
• RAP 알고리즘이 표준 공통성 평가 벤치마크에서 경쟁 가능한 성능을 유지하는지 보여주는 것.

제안 방법

• RAP 알고리즘은 Charniak(2000) 의존성 파서를 입력으로 사용하여 자바로 구현된 JavaRAP으로 구현된다. 이는 문법적 및 의미적 분석을 위해 사용된다.
• 시스템은 성별, 수, 문법적 헤드 일치 등 어순 및 의미적 제약 조건을 통해 비동사를 식별한다.
• 언어적 특징에 기반하여 비동사와 어휘적 반복어를 가장 가능성이 높은 전행어에 연결하기 위해 일련의 해결 규칙을 적용한다.
• 이 구현체는 두 가지 출력 모드를 지원한다: 비동사-전행어 쌍 목록 또는 입력 텍스트 내에서 직접 교체.
• 알고리즘은 문법적 구문 분석, 의미 역할 레이블링 및 어휘 제약 조건의 조합을 사용하여 전행어 후보를 결정한다.
• 정확도 평가를 위해 MUC-6 공통성 작업에서 표준 지표를 사용하여 평가가 수행된다.

실험 결과

연구 질문

• RQ1 비동사 해석 연구를 위한 기준 벤치마크로 사용할 수 있는 공개된 독립형 RAP 알고리즘의 레퍼런스 구현체를 개발할 수 있는가?
• RQ2 기존의 레퍼런스 구현체와 비교하여 RAP 알고리즘은 표준 공통성 평가 데이터셋에서 어떤 성능을 보이는가?
• RQ3 표준 NLP 도구를 사용하여 RAP 알고리즘은 제3인칭 대명사, 어휘적 반복어, 과잉 대명사를 어느 정도 해결할 수 있는가?
• RQ4 RAP 알고리즘의 MUC-6 데이터셋에서의 정확도는 이전 문헌에서 보고된 결과와 일관하는가?

주요 결과

• JavaRAP은 MUC-6 공통성 작업에서 57.9%의 공통성 해석 정확도를 달성하였으며, 이는 이전 문헌에서 보고된 성능 수준과 일치한다.
• 이 구현체는 표준 파서와 언어 규칙을 사용하여 제3인칭 대명사, 어휘적 반복어를 성공적으로 해결하고 과잉 대명사를 식별한다.
• 시스템은 비동사-전행어 쌍 목록과 직접 교체를 모두 출력 옵션으로 제공하여 후속 응용 분야에서의 유용성을 높인다.
• Charniak(2000) 파서를 입력으로 사용함으로써, 널리 사용되는 NLP 파ip라인과의 호환성을 확보하고 재현 가능성을 향상시킨다.
• JavaRAP의 공개는 새로운 비동사 해석 알고리즘과의 직접 비교를 가능하게 하여 분야 내 발전을 지원한다.