[논문 리뷰] Noun Phrase Recognition by System Combination

Erik F. Tjong Kim Sang|arXiv (Cornell University)|2000. 05. 10.

Natural Language Processing Techniques참고 문헌 13인용 수 55

한 줄 요약

이 논문은 IOB 태깅 및 괄호 구조와 같은 다수의 데이터 표현 방식을 사용하여 단일 메모리 기반 분류기(ib1-ig)를 훈련하고, 다수결 투표를 통해 결과를 통합함으로써 명사구 인식을 위한 시스템 조합 방법을 제안한다. 이 방법은 표준 기반 명사구 및 임의의 명사구 인식 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 최고의 개별 분류기 대비 오류 감소율이 최대 19%에 이르며, 기반NPs에서 F1 스코어가 92.8%에 도달하고 임의의 NPs에서는 83.0%에 이를 수 있다.

ABSTRACT

The performance of machine learning algorithms can be improved by combining the output of different systems. In this paper we apply this idea to the recognition of noun phrases.We generate different classifiers by using different representations of the data. By combining the results with voting techniques described in (Van Halteren et.al. 1998) we manage to improve the best reported performances on standard data sets for base noun phrases and arbitrary noun phrases.

연구 동기 및 목표

• 다양한 데이터 표현 방식으로 훈련된 다수의 분류기를 조합함으로써 기존의 개별 분류기 성능을 초월하는 명사구 인식 성능 향상 여부를 조사하는 것.
• 특히 다수결 투표와 같은 시스템 조합 기법이 기반 명사구 및 임의의 명사구 인식 성능 향상에 기여하는지 평가하는 것.
• 기본 데이터 표현 외의 다양한 표현 방식을 사용한 메모리 기반 학습이 벤치마크 데이터셋에서 단일 표현 모델보다 우수한 성능을 내는지 확인하는 것.
• 조정 데이터를 필요로 하지 않는 투표 전략의 효과성을 평가하여 훈련 세트를 최대한 활용할 수 있도록 하는 것.
• 백킹 또는 유전적 스타일의 데이터 증강과 같은 대체 조합 방법이 성능 향상에 기여하는지 탐색하는 것.

제안 방법

• IOB1, IOB2, IOE1, IOE2 태깅 체계 및 괄호 기반(O+C) 표현 방식을 포함한 다수의 데이터 표현 방식에 대해 단일 메모리 기반 분류기(ib1-ig)를 훈련한다.
• ib1-ig 알고리즘을 적용하여 훈련 데이터 내 근접한 이웃 기반으로 가중 특성 거리의 기반으로 새로운 인스턴스를 분류한다.
• 다섯 개의 다른 분류기(각 표현 방식별로 하나)의 출력 결과를 다수결 투표하여 최종 명사구 예측 결과를 도출한다.
• ib1-ig의 igtree 결정트리 변종을 사용하여 조합 실험에서 다양한 학습 알고리즘 간 성능 비교를 수행한다.
• 기반NP 및 임의의 NP 작업 모두에서 훈련용으로 Penn Treebank WSJ 섹션 15–18을, 테스트용으로 섹션 20을 사용한다.
• Ramshaw & Marcus (1995) 및 CoNLL-99의 표준 벤치마크 데이터셋을 사용하여 정밀도와 재현율 지표를 기반으로 F1-스코어(β=1)를 최적화한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 표현 방식으로 훈련된 분류기를 조합함으로써 최고의 개별 분류기 성능을 초월하는 명사구 인식 성능 향상이 가능한가?
• RQ2 조정 데이터 없이 다수결 투표를 적용할 경우, 명사구 추출에서 시스템 조합에 있어 강력하고 효과적인 방법이 될 수 있는가?
• RQ3 IOB와 괄호 구조와 같은 다양한 데이터 표현 방식은 분류기 성능 및 조합 효과성 측면에서 어떻게 비교되는가?
• RQ4 명사구 인식의 맥락에서, 품사 태깅에서 관찰된 바와 같이 시스템 조합 기법이 오류율을 상당히 감소시킬 수 있는가?
• RQ5 백킹 또는 유전적 스타일의 데이터 생성과 같은 대체 조합 전략이 표현 기반 조합보다 더 효과적인가?

주요 결과

• Ramshaw & Marcus의 기반NPs 데이터셋에서 다섯 가지 다른 데이터 표현 방식에 대한 다수결 투표는 기존 최고 성능인 92.0% 대비 F1 스코어 91.86%를 기록하며 최고 개별 분류기 성능을 향상시켰다.
• 이 시스템 조합 방법은 기반 명사구 인식 과제에서 기존 결과를 초월하는 최신 기술 수준의 F1 스코어 92.8%를 달성하여, XTAG1998에서 보고한 92.4%를 넘어서는 성과를 거두었다.
• 임의의 명사구 인식 과제에서 이 방법은 CoNLL-99 데이터셋에서 F1 스코어 83.0%를 기록하여 조합 없이 기존 결과 82.98%를 초월하였다.
• 다수결 투표를 통한 분류기 조합은 최고 성능 분류기의 오류율을 최대 19%까지 감소시켰으며, 이는 품사 태깅 분야의 연구 결과와 일관된 양상이었다.
• O+C 괄호 표현 방식과 최단어구 선택 기법의 조합은 IOB 스타일 태깅 체계보다 우수한 성능을 보였으며, Muñoz 등(1999)의 이전 연구 결과를 확인시켰다.
• ib1-ig를 사용할 경우, 백킹 또는 유전적 스타일의 데이터 증강과 같은 대체 조합 전략은 최고의 개별 분류기 성능을 초월하는 데 실패하였다.