[논문 리뷰] Bootstrapping a Tagged Corpus through Combination of Existing Heterogeneous Taggers

Jakub Zavrel, Walter Daelemans|ArXiv.org|2000. 07. 13.

Natural Language Processing Techniques참고 문헌 11인용 수 24

한 줄 요약

이 논문은 최소한의 수작업 태깅 데이터로 새로운 코퍼스에 대해 고정확도 품사 태깅을 부트스트랩하는 데 목적이 있는 스태킹 기반 방법인 combi-bootstrap을 제안한다. 다양한 태거들(예: wotan, CELEX)의 출력을 두 번째 수준의 메모리 기반 학습기의 특징으로 사용함으로써, 가장 우수한 단일 태거보다 최대 44.7%의 오류 감소를 달성하였으며, 동일한 작은 태깅 샘플로 훈련된 개별 태거나 앙상블 태거보다도 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

This paper describes a new method, Combi-bootstrap, to exploit existing taggers and lexical resources for the annotation of corpora with new tagsets. Combi-bootstrap uses existing resources as features for a second level machine learning module, that is trained to make the mapping to the new tagset on a very small sample of annotated corpus material. Experiments show that Combi-bootstrap: i) can integrate a wide variety of existing resources, and ii) achieves much higher accuracy (up to 44.7 % error reduction) than both the best single tagger and an ensemble tagger constructed out of the same small training sample.

연구 동기 및 목표

• 기존 태거가 없는 새로운 코퍼스의 형태구문적 태깅 부트스트랩 문제를 해결하기 위해.
• 태그셋 간 매핑을 위한 고비용 언어학 지식 공학의 의존도를 줄이기 위해.
• 소량의 수작업 태깅 데이터와 다양한 기존 자원을 이용해 빠르게 정확한 태거를 개발할 수 있도록 하기 위해.
• 이질적인 태거들과 어휘 특징을 조합하는 것이 새로운 태그셋에서 단일 태거나 앙상블 태거보다 뛰어난 성능을 낼 수 있는지 탐색하기 위해.
• 다양한 저수준 표현(예: 어형, 태그 출력)을 통합하기 위해 스태킹의 효과를 평가하기 위해.

제안 방법

• 이 방법은 여러 이질적인 태거들(TNT, MAX, RUL, MBT)과 어휘 특징(CELEX, Word)의 출력을 두 번째 수준 분류기의 입력 특징으로 조합하는 스태킹 앙상블 학습 접근법을 사용한다.
• 두 번째 수준의 학습기는 IB1, 즉 메모리 기반 학습 알고리즘(TiMBL)으로 구현되며, 훈련 세트에서 가장 가까운 이웃을 기반으로 각 단어를 분류한다.
• 두 번째 수준 학습기의 훈련 데이터는 구성 태거들에서 9중 교차 검증된 출력과 소규모 CGN 코퍼스 샘플(5k–20k 토큰)에서의 수작업 태깅 기준 태그로 구성된다.
• 특징 입력에는 각 구성 태거의 예측 태그, 어형, 그리고 CELEX에서의 다의어 어휘 카테고리가 포함된다.
• 시스템은 새로운 코퍼스의 소규모 샘플(5k–20k 토큰)에서 훈련되고, 보류된 데이터에서 정확도와 오류 감소를 측정하기 위해 테스트된다.
• 특징 가중치에 큰 향상이 없었으며, 이는 이 데이터 크기에서는 k=1인 무가중치 오버랩이 충분함을 시사한다.

실험 결과

연구 질문

• RQ1 스태킹을 통해 이질적인 태거들과 어휘 자료를 조합하면, 최소한의 태깅 데이터로 새로운 코퍼스에서 태깅 정확도를 뚜렷이 향상시킬 수 있는가?
• RQ2 wotan-1, wotan-2, wotan-lite와 같은 다양한 태그셋과 CELEX 같은 어휘 특징을 통합하면, 단일 태거나 단순 앙상블보다 더 나은 성능을 낼 수 있는가?
• RQ3 이 방법은 알려진 단어보다 알려지지 않은 단어에 대해 오류를 얼마나 줄이는가? 이는 어휘 커버리지에 대해 어떤 함의를 갖는가?
• RQ4 성능 향상의 원인은 오류 보정의 향상인지, 아니면 알려지지 않은 단어 예측의 향상인가?
• RQ5 이 방법은 대규모 훈련 데이터가 부족한 워드센스 디스앱리케이션 또는 파싱과 같은 다른 NLP 작업으로 일반화될 수 있는가?

주요 결과

• 모든 정보 자원(CGN, wotan, CELEX, Word)을 사용한 최고의 combi-bootstrap 시스템은 20k 토큰 테스트 세트에서 93.49%의 정확도를 달성하였으며, 가장 우수한 단일 CGN 태거보다 44.7%의 오류 감소를 기록하였다.
• 알 수 없는 단어에 대해서는 5k 토큰에서 오류 감소율이 50.9%에 도달하였으며, 이는 방법이 어휘 커버리지를 뚜렷이 향상시킴을 시사한다.
• 개별적으로는 약한 예측자였지만, CELEX와 Word의 포함은 특히 알려지지 않은 단어에 대해 최종 정확도에 긍정적인 기여를 하였다.
• 동일한 작은 샘플로 훈련된 가장 우수한 단일 태거와 동일한 구성 태거들의 앙상블보다도 이 방법이 뛰어나, 전통적인 앙상블 방법보다 스태킹의 우수성을 입증하였다.
• 모든 정보 자원을 통합했을 때 최고의 결과를 얻었으며, 이는 더 다양한 특징이 더 나은 성능을 이끌어낸다는 것을 보여주지만, 특징 가중치에선 유의미한 향상이 없었다.