[논문 리뷰] Text Classification Using Association Rules, Dependency Pruning and Hyperonymization

Yannis Haralambous, Philippe Lenca|arXiv (Cornell University)|2014. 01. 01.

Data Mining Algorithms and Applications참고 문헌 23인용 수 23

한 줄 요약

이 논문은 의존성 파싱을 통한 필터링과 초의어화를 통한 의미적 풍부화를 통합하여 연관 규칙 탐색을 향상시키는 규칙 기반 텍스트 분류 방법을 제안한다. 단어를 그들의 초의어로 대체하고 문법적 의존성 기반으로 필터링함으로써 분류 정확도와 해석 가능성 향상을 도모하며, 문장당 10개 단어로 설정했을 때 F-측정치 최고치 83.99를 기록하여 전통적인 tfidf 기반 필터링보다 뛰어난 성능을 보였다.

ABSTRACT

We present new methods for pruning and enhancing item- sets for text classification via association rule mining. Pruning methods are based on dependency syntax and enhancing methods are based on replacing words by their hyperonyms of various orders. We discuss the impact of these methods, compared to pruning based on tfidf rank of words.

연구 동기 및 목표

• 연결 규칙 탐색에 언어 지식을 통합하여 텍스트 분류 정확도와 해석 가능성을 향상시키기.
• 문법적 의존성 기반으로 아이템세트를 필터링하여 노이즈를 감소시키고 특징의 관련성을 향상시키기.
• 다양한 차수의 초의어로 단어를 대체함으로써 의미적 풍부성을 향상시키기.
• 블랙박스 분류기와 비교해 더 이해하기 쉬우며 인간이 직접 이해할 수 있는 분류 모델을 제공하기.
• 의존성 기반 필터링과 초의어화의 영향을 표준 tfidf 기반 특징 선택과 비교 평가하기.

제안 방법

• 의존성 파싱에서 유도된 형태소구문적 제약 조건을 사용하여, 문법적 기준을 충족하는 단지만을 유지함으로써 필터링을 수행한다.
• 문장 내 단어를 그들의 초의어(예: 'dog' → 'animal')로 대체함으로써 의미 일반화와 규칙 커버리지 확장을 도모한다.
• 초의어화는 일차, 이차 등 다양한 수준에서 적용되어 의미 깊이의 영향을 탐색한다.
• 필터링 및 향상된 아이템세트에서 클래스 연관 규칙(CARs)을 탐지하며, 지지도 및 신뢰도 임계값을 적용한다.
• 거래는 문장 수준에서 형성되며, 각 문장을 문서 수준의 아이템세트로 간주하여 규칙 탐색을 수행한다.
• 새로운 텍스트의 분류에는 기존 CARs의 아이템세트와 문장의 단어를 매칭하고, 투표 또는 신뢰도 점수 기반으로 클래스 예측을 집계한다.

실험 결과

연구 질문

• RQ1 의존성 기반 필터링은 tfidf 기반 필터링 대비 분류 F-측정치에서 어떻게 비교되는가?
• RQ2 초의어화는 분류 성능과 규칙의 해석 가능성에 어느 정도 향상 효과를 미치는가?
• RQ3 제안된 프레임워크에서 F-측정치를 최대화하기 위해 문장당 최적의 단어 수(거래 크기)는 얼마인가?
• RQ4 의존성 제약 조건은 예측 클래스의 다양성과 분포에 어떤 영향을 미치는가?
• RQ5 초의어화를 통한 의미적 풍부화로 과적합을 줄이고 일반화 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 문장당 10개 단어로 설정했을 때 F-측정치 최고치 83.99를 기록하여 동일한 거래 크기에서 tfidf 기반 필터링을 초월했다.
• 의존성 기반 필터링은 문서당 예측 클래스 수(다양성)를 약 3.1로 감소시켜 일관성 향상과 노이즈 감소를 이끌어냈다.
• 단일 단어로 거래를 구성한 tfidf 기반 필터링은 평균 F-측정치 65.69를 기록했으나, 제안된 방법은 최적 설정에서 이를 뛰어넘었다.
• 거래 크기가 증가함에 따라 예측의 분산이 점차 증가하여 N=12 및 N=13에서 최고치를 기록했으며, 이는 예측의 다양성 증가 때문일 것이다.
• 초의어화로 인해 의미 일반화가 향상되어 높은 신뢰도를 유지하면서도 더 다양한 인스턴스를 커버할 수 있었다.
• 블랙박스 모델 대비 더 뛰어난 해석 가능성을 보였으며, 규칙이 인간이 이해할 수 있고 언어적 통찰에 기반해 보완 가능했다.