[논문 리뷰] A Corpus-Based Investigation of Definite Description Use

Massimo Poesio, Renata Vieira|arXiv (Cornell University)|1997. 10. 24.

Natural Language Processing Techniques참고 문헌 37인용 수 322

한 줄 요약

이 코퍼스 기반 연구는 문법 분류 체계를 사용하여 서면 텍스트 내 정관사 서술어를 주석 처리하는 것의 가능성을 조사한다. 전통적인 프레임워크인 하위스의 및 프라인스의 이론을 사용할 경우 낮은 평가자 간 일치도(Kappa = 0.63)를 보였지만, 프라우루드의 단순화된 이중분류 체계(첫 번째 언급 대상 vs. 후속 언급 대상)를 사용할 경우 더 높은 일치도(Kappa = 0.76)를 기록하여, 계산어휘학 응용 분야에서 대규모 주석 처리에 있어 단순한 체계가 더 신뢰할 만한 결과를 낳을 수 있음을 시사한다.

ABSTRACT

We present the results of a study of definite descriptions use in written texts aimed at assessing the feasibility of annotating corpora with information about definite description interpretation. We ran two experiments, in which subjects were asked to classify the uses of definite descriptions in a corpus of 33 newspaper articles, containing a total of 1412 definite descriptions. We measured the agreement among annotators about the classes assigned to definite descriptions, as well as the agreement about the antecedent assigned to those definites that the annotators classified as being related to an antecedent in the text. The most interesting result of this study from a corpus annotation perspective was the rather low agreement (K=0.63) that we obtained using versions of Hawkins' and Prince's classification schemes; better results (K=0.76) were obtained using the simplified scheme proposed by Fraurud that includes only two classes, first-mention and subsequent-mention. The agreement about antecedents was also not complete. These findings raise questions concerning the strategy of evaluating systems for definite description interpretation by comparing their results with a standardized annotation. From a linguistic point of view, the most interesting observations were the great number of discourse-new definites in our corpus (in one of our experiments, about 50% of the definites in the collection were classified as discourse-new, 30% as anaphoric, and 18% as associative/bridging) and the presence of definites which did not seem to require a complete disambiguation.

연구 동기 및 목표

• 대규모 코퍼스 주석 처리를 위한 표준화된 언어학적 분류 체계의 사용 가능성 평가
• 비언어학 전공자들이 기존 정관사 서술어 해석 이론을 신뢰성 있게 적용할 수 있는지 평가
• 하위스, 프라인스, 프라우루드의 다양한 분류 체계 간 평가자 간 일치도 비교
• 서면 대화에서 정관사 서술어의 분포 및 해석 패턴 분석, 특히 대화 신규 사용 사례 중심
• 정관사 서술어를 처리하는 계산 시스템의 평가 기준 설계에 기여

제안 방법

• 33편의 신문 기사에서 추출한 1,412개의 정관사 서술어를 대상으로 비전문가 참가자들이 수행한 두 가지 실험 실시
• 하위스(1978)와 프라인스(1981, 1992)의 분류 체계를 기반으로 한 분류 체계와, 프라우루드(1990)가 제안한 단순화된 이중분류 체계(첫 번째 언급 대상 및 후속 언급 대상)를 사용
• 분류 및 전행자 할당의 신뢰도 평가를 위해 코헨의 카파 통계량을 사용해 평가자 간 일치도 측정
• 일致성 확보 및 계산어휘학 시스템의 코퍼스 기반 평가를 지원하기 위해 서면 텍스트에 집중
• 지시적 및 연관/브리지 정관사 서술어의 전행자 할당 데이터 수집을 통해 참조 해소 정확도 평가
• 코퍼스 내에서 대화 신규, 지시적, 연관/브리지 정관사 서술어의 빈도 분석

실험 결과

연구 질문

• RQ1 비언어학 전공자들이 하위스와 프라인스가 제안한 복잡한 언어학적 분류 체계를 사용해 정관사 서술어를 안정적으로 분류할 수 있는가?
• RQ2 서면 텍스트 내 정관사 서술어에 다양한 분류 체계를 적용했을 때 평가자 간 일치도는 어느 정도 달성될 수 있는가?
• RQ3 서면 뉴스 텍스트에서 대화 신규 정관사 서술어는 얼마나 흔한가? 지시적 또는 연관/브리지 사용과 비교해보면 어떻게 되는가?
• RQ4 프라우루드의 이중분류 모델과 같은 단순화된 분류 체계는 더 세분화된 분류 체계보다 유의미하게 높은 일치도를 보이는가?
• RQ5 이 코퍼스 내 정관사 서술어는 얼마나 많은 정도의 완전한 해석 제거가 필요하며, 기존 해석 모델에 어떤 도전을 가하는가?

주요 결과

• 기존의 분류 체계(하위스 및 프라인스의 체계)를 사용한 평가자 간 일치도는 상대적으로 낮았으며, 카파 값이 0.63으로 중간 정도의 신뢰도를 보였다.
• 첫 번째 언급 대상과 후속 언급 대상만 구분하는 프라우루드의 단순화된 분류 체계는 더 높은 일치도(카파 = 0.76)를 기록했다.
• 코퍼스 내 약 50%의 정관사 서술어가 대화 신규로 분류되어, 서면 텍스트에서 비지시적 사용이 높은 빈도로 나타남을 시사한다.
• 지시적 정관사 서술어는 전체의 약 30%를 차지했고, 연관/브리지 정관사 서술어는 약 18%를 차지했다.
• 전행자 할당에 대한 일치도는 완전하지 않았으며, 이는 지시적 정관사 서술어의 참조 대상 식별에도 어려움이 있음을 시사한다.
• 본 연구는 많은 정관사 서술어가 완전한 해석 제거 없이도 충분히 해석 가능함을 보여주며, 일부 계산 모델에서의 해석 가정에 도전을 제기한다.