[논문 리뷰] Bagging and Boosting a Treebank Parser

John C. Henderson, Eric Brill|ArXiv.org|2000. 06. 05.

Natural Language Processing Techniques참고 문헌 11인용 수 37

한 줄 요약

이 논문은 펜 트리뱅크에서 훈련된 통계적 의존성 파서에 배깅과 부스팅—앙상블 기계학습 기법—을 적용하여 테스트 데이터에서 F-측정치에 0.8 향상된 성과를 달성했으며, 이는 훈련 코퍼스 크기를 두 배로 늘인 것과 동일한 효과에 해당한다. 부스팅 과정은 또한 트리뱅크에 존재하는 애너테이션 불일치를 드러내어 이를 반자동으로 식별하는 방법을 가능하게 하였다.

ABSTRACT

Bagging and boosting, two effective machine learning techniques, are applied to natural language parsing. Experiments using these techniques with a trainable statistical parser are described. The best resulting system provides roughly as large of a gain in F-measure as doubling the corpus size. Error analysis of the result of the boosting technique reveals some inconsistent annotations in the Penn Treebank, suggesting a semi-automatic method for finding inconsistent treebank annotations.

연구 동기 및 목표

• 추가 훈련 데이터 없이 앙상블 기법을 사용하여 파싱 정확도를 향상시키는 것.
• 배깅과 부스팅이 단일 파서 유도 알고리즘의 성능을 향상시킬 수 있는지 평가하는 것.
• 부스팅이 펜 트리뱅크 애너테이션의 불일치를 드러낼 수 있는지 조사하는 것.
• 앙상블 기법의 성능 향상이 훈련 코퍼스 크기를 두 배로 늘였을 때 기대되는 성과 향상과 어떻게 비교되는지 평가하는 것.
• 트리뱅크 데이터의 불일치 애너테이션을 반자동으로 탐지하는 기법을 개발하는 것.

제안 방법

• 배깅은 훈련 코퍼스의 k개의 부트스트랩 복제본을 무작위로 추출하여 생성하고, 각 복제본에 대해 별도의 파서를 훈련시킨다.
• 테스트 문장의 최종 파싱 결과는 앙상블 내의 k개 파서 전부의 다수결 투표를 통해 결정된다.
• 부스팅은 예측 오차에 기반해 훈련 인스턴스의 가중치를 반복적으로 재조정하여, 이후 라운드에서 파싱이 어려운 문장에 더 집중한다.
• 최종 앙상블는 부스팅 시퀀스 내의 모든 약한 학습기의 예측을 오차율에 따라 가중치를 두어 조합한다.
• 부스팅 결과의 오차 분석은 문장 간에 충돌하는 애너테이션 패턴을 식별하여 트리뱅크의 불일치를 시사한다.
• 부스팅 과정에서의 특징 가중치 분포와 예측 오차를 바탕으로 불일치 애너테이션을 탐지하는 반자동 기법이 유도된다.

실험 결과

연구 질문

• RQ1 배깅과 부스팅은 추가 훈련 데이터 없이 단일 통계적 파서의 F-측정치를 유의미하게 향상시킬 수 있는가?
• RQ2 앙상블 기법의 성능 향상은 훈련 코퍼스 크기를 두 배로 늘였을 때 예상되는 성과 향상과 어떻게 비교되는가?
• RQ3 부스팅 과정은 개별 파서 분석에서 드러나지 않는 펜 트리뱅크 애너테이션의 불일치를 드러낼 수 있는가?
• RQ4 앙상블 학습 알고리즘의 출력을 활용해 트리뱅크의 애너테이션 불일치를 반자동으로 탐지할 수 있는 방법이 있는가?
• RQ5 앙상블 방법은 F-측정치를 향상시키는 동안 정확한 문장 정확도를 유지하거나 향상시키는가?

주요 결과

• 가장 우수한 배깅 시스템은 테스트 세트에서 F-측정치에 0.8 향상되었으며, 이는 훈련 코퍼스 크기를 두 배로 늘였을 때 기대되는 성과 향상과 동일한 수준이다.
• 배깅 앙상블는 테스트 F-측정치를 88.63에서 89.19로 향상시켰으며, 정확한 문장 정확도는 1.4% 증가했다 (34.9%에서 34.7%로).
• 부스팅은 테스트 세트에서 F-측정치를 0.79 향상시켰지만 배깅에 비해 성능이 열 劣했으며, 펜 트리뱅크에서 상위 100개의 가중치가 높은 불일치 트리들을 드러냈다.
• 훈련 곡선은 10,000에서 40,000개 문장 사이의 코퍼스 크기를 두 배로 늘였을 때 약 0.7 F-측정치 향상이 발생하며, 이는 배깅으로부터의 0.6 향상과 매우 유사하다.
• 부스팅 과정은 파서가 각각의 구조를 별도로 학습할 수는 있지만 코퍼스 전반에 걸쳐 일관성 없이 나타나는 100개의 트리에 충돌하는 애너테이션 패턴을 식별했다.
• 반자동 불일치 탐지 기법은 애너테이션 규칙에 대한 사전 지식이 필요 없었으며, 충돌하는 문장 쌍(구조적 구문 분석이 다른 문장 쌍)을 성공적으로 분리해냈다.