[논문 리뷰] Forgetting Exceptions is Harmful in Language Learning

Walter Daelemans, Antal van den Bosch외 1명|ArXiv.org|1998. 12. 22.

Topic Modeling참고 문헌 7인용 수 40

한 줄 요약

이 논문은 기계 학습에서 예외를 제거하면 일반화가 향상된다는 통념을 도전하며, 자연어 처리 작업에서 모든 학습 인스턴스—특히 희귀하거나 예외적인 인스턴스를 유지할 경우 더 높은 정확도를 달성함을 경험적으로 보여준다. 메모리 기반 학습(ib1-ig)을 사용하고, 편집된 버전들과 결정트리 방법(c5.0, igtree)을 비교함으로써, 언어 데이터의 높은 이분성 때문에 예외를 잊는 것은 성능을 해칠 뿐 아니라, 예외와 부분 규칙성(sub-regularities)이 노이즈가 아니라 정확한 일반화에 필수적이라는 점을 밝혀낸다.

ABSTRACT

We show that in language learning, contrary to received wisdom, keeping exceptional training instances in memory can be beneficial for generalization accuracy. We investigate this phenomenon empirically on a selection of benchmark natural language processing tasks: grapheme-to-phoneme conversion, part-of-speech tagging, prepositional-phrase attachment, and base noun phrase chunking. In a first series of experiments we combine memory-based learning with training set editing techniques, in which instances are edited based on their typicality and class prediction strength. Results show that editing exceptional instances (with low typicality or low class prediction strength) tends to harm generalization accuracy. In a second series of experiments we compare memory-based learning and decision-tree learning methods on the same selection of tasks, and find that decision-tree learning often performs worse than memory-based learning. Moreover, the decrease in performance can be linked to the degree of abstraction from exceptions (i.e., pruning or eagerness). We provide explanations for both results in terms of the properties of the natural language processing tasks and the learning algorithms.

연구 동기 및 목표

• 감독 학습에서 예외를 제거하면 일반화가 향상된다는 널리 퍼진 믿음을 도전하기 위해.
• 메모리 기반 학습에서 학습 세트 편집이 자연어 처리 작업의 일반화 정확도에 악영향을 미치는지 조사하기 위해.
• 언어 데이터에서 메모리 기반 학습과 결정트리 학습 간의 일반화 성능을 비교하기 위해.
• 결정트리 학습이 고도로 이분적인 언어 데이터에서 메모리 기반 학습보다 성능이 열 劣하는 이유를 설명하기 위해.
• 자연어 학습 환경에서 프루닝과 특징 추상화의 모델 성능에 미치는 영향을 분석하기 위해.

제안 방법

• 낮은 일반성 또는 낮은 클래스 예측 강도를 기반으로 인스턴스를 제거한 편집된 ib1-ig 버전과 ib1-ig(메모리 기반 학습)를 경험적으로 비교하기 위해.
• 일반성과 클래스 예측 강도(CPS) 두 기준을 사용하여 학습 세트 편집 기법을 적용하고, 일반화에 미치는 영향을 평가하기 위해.
• 그래프음소-음소 변환, 품사 태깅, 국소어구 첨부, 기본 명사구 쿼터닝의 네 가지 NLP 작업에서 ib1-ig와 결정트리 학습 알고리즘 c5.0 및 igtree를 비교하기 위해.
• ib1-ig에서 특징 가중치의 히우리스틱으로 정보 엔트로피를 사용하고, c5.0 및 igtree에서 분할 기준으로 정보 엔트로피를 사용하여 유사한 학습 원칙을 확보하기 위해.
• 친근한 이웃 수를 통한 인스턴스 공간 구조 분석을 통해 특징 공간 내 클래스의 이분성과 군집 균일성을 측정하기 위해.
• 모든 작업과 방법에 대해 보류된 테스트 세트에서 일반화 정확도를 사용하여 모델 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 메모리 기반 학습에서 낮은 일반성 또는 낮은 클래스 예측 강도를 가진 인스턴스를 제거하면 언어 작업의 일반화 정확도가 향상되는가?
• RQ2 유사한 기초 원칙을 공유함에도 불구하고, 결정트리 학습이 언어 데이터에서 왜 일반적으로 메모리 기반 학습보다 성능이 열 劣하는가?
• RQ3 높은 이분성의 언어 데이터에서 프루닝이나 모델 구축을 통한 학습 인스턴스의 추상화가 성능에 얼마나 큰 영향을 미치는가?
• RQ4 인스턴스 공간 내 클래스의 이분성 구조적 특성이 다양한 학습 알고리즘의 성능에 어떻게 영향을 미치는가?
• RQ5 예외를 忘却하는 부정적 영향은 노이즈가 아니라 관련 있는 부분 규칙성의 손실 탓인가?

주요 결과

• 낮은 일반성 또는 낮은 클래스 예측 강도 기반으로 학습 인스턴스를 편집하는 것은 네 가지 NLP 작업 전반에서 일반화 정확도를 일관되게 감소시킨다.
• 메모리 기반 학습(ib1-ig)은 편집된 ib1-ig 및 결정트리 학습(c5.0, igtree)보다 테스트된 작업에서 일반화 정확도 측면에서 뛰어나다.
• ib1-ig와 결정트리 방법 간의 성능 격차는 프루닝 없이도 일부 스키마(부분적으로 일치하는 인스턴스 집합)에 접근할 수 없기 때문에 발생한다.
• 프루닝은 저빈도이지만 테스트 데이터에서 반복되는 고예외 인스턴스를 제거함으로써 성능을 더 악화시키며, 특히 gs(그래프음소-음소 변환) 작업에서 두드러진다.
• 인스턴스 공간 내 클래스의 높은 이분성—균일한 영역이 작고 산만하게 분포해 있음—이 예외가 노이즈가 아니라 정확한 분류에 필수적이라는 이유를 설명한다.
• 높은 일반성, 높은 CPS를 가진 인스턴스까지 약 20%까지 편집하는 것이 가장 해롭지 않지만, 여전히 유익하지 않으며, 선택적 忘却에 특별한 이점이 없음을 시사한다.