[논문 리뷰] Extension of TSVM to Multi-Class and Hierarchical Text Classification Problems With General Losses

Sathiya Keerthi Selvaraj, Sundararajan Sellamanickam외 1명|arXiv (Cornell University)|2012. 11. 01.

Text and Document Classification Technologies참고 문헌 23인용 수 8

한 줄 요약

이 논문은 일반 손실 함수를 사용하여 비지도 학습에서의 레이블 할당 문제를 선형계획법 문제로 공식화함으로써 전도적 서포트 벡터 머신(TSVM)을 다중 분류 및 계층적 텍스트 분류로 확장한다. 이는 고정된 분류기 가중치(w)에 대해 비지도 데이터의 레이블 할당을 선형계획법(LP) 문제로 모델링함으로써 교차 최적화를 통한 효율적 최적화를 가능하게 한다. 실험 결과, 엔트로피 정규화, 기대치 정규화, 후행 정규화와 비교해도 성능이 뛰어나며, 특히 마진이 큰 손실 함수에서 두각을 나타내며, 레이블 수 제약 조건을 효과적으로 처리한다.

ABSTRACT

Transductive SVM (TSVM) is a well known semi-supervised large margin learning method for binary text classification. In this paper we extend this method to multi-class and hierarchical classification problems. We point out that the determination of labels of unlabeled examples with fixed classifier weights is a linear programming problem. We devise an efficient technique for solving it. The method is applicable to general loss functions. We demonstrate the value of the new method using large margin loss on a number of multi-class and hierarchical classification datasets. For maxent loss we show empirically that our method is better than expectation regularization/constraint and posterior regularization methods, and competitive with the version of entropy regularization method which uses label constraints.

연구 동기 및 목표

• 전도적 서포트 벡터 머신(TSVM)을 이진 분류에서 다중 분류 및 계층적 텍스트 분류 문제로 확장하는 것.
• 비지도 학습에서 큰 마진 손실 및 최대 엔트로피 손실을 포함한 일반 손실 함수를 지원하는 방법을 개발하는 것.
• 레이블 수 제약 조건 n(y)을 통해 도메인 지식을 통합하여 비지도 데이터 레이블 할당에서 다수 클래스 편향을 방지하는 것.
• 분류기 가중치(w)와 비지도 예제의 레이블 할당(y^u)을 번갈아 업데이트하는 효율적인 최적화 프레임워크를 제공하는 것.
• 기대치 정규화, 기대치 정규화, 후행 정규화와 같은 기존 비지도 학습 방법들과 비교해 뛰어난 성능을 보여주는 것.

제안 방법

• 분류기 가중치(w)가 고정되어 있을 때 비지도 예제의 레이블 할당 문제를 선형계획법(LP) 문제로 공식화함으로써 효율적인 계산이 가능하다.
• 교차 최적화를 사용한다: w를 고정하고 LP를 통해 y^u를 구하고, 그 다음 y^u를 고정하고 표준 볼록 최적화를 통해 w를 최적화한다.
• 각 클래스에 할당된 비지도 예제의 수에 대한 등식 제약 조건을 통해 레이블 수 제약 조건 n(y)을 구현함으로써 다수 클래스에 대한 편향을 방지한다.
• 손실 항목 ξ(w, x_i^u, y_i^u)를 목적 함수에 포함시켜 일반 손실 함수를 지원하며, 큰 마진 손실 및 최대 엔트로피 손실을 포함한다.
• 최대 엔트로피 손실의 경우, 복잡한 제약 함수의 기울기를 계산하지 않고도 이산 레이블 할당을 직접 최적화함으로써 소프트 레이블 분포에 의존하는 방법들과는 다릅니다.
• 이 방법은 계층적 구조조차도 스케일이 잘 되어 있으며, 전체 계층에 대해 특징과 가중치가 정의되어 있고, 잎 노드로 향하는 경로 상의 노드들만 활성화되는 방식으로 작동한다.

실험 결과

연구 질문

• RQ1 일반 손실 함수를 사용하는 TSVM 프레임워크는 다중 분류 및 계층적 텍스트 분류 문제로 효과적으로 확장될 수 있는가?
• RQ2 제안된 LP 기반의 레이블 할당 방법은 엔트로피 정규화 및 후행 정규화와 같은 기존의 비지도 학습 방법들과 비교해 성능가능한가?
• RQ3 소프트 레이블 분포에 기반한 기울기 기반 방법에 의존하지 않고도 다중 분류 및 계층적 환경에서 레이블 수 제약 조건 n(y)을 효율적으로 구현할 수 있는가?
• RQ4 w와 y^u 사이의 교차 최적화는 기대 레이블 분포를 최적화하는 연속적 근사 방법보다 더 나은 결과를 낼 수 있는가?
• RQ5 이 방법은 복잡한 레이블 구조를 가진 대규모 텍스트 분류 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 이진 텍스트 분류 데이터셋(gcat 및 aut-avn)에서 기대치 정규화 및 후행 정규화 방법보다 뚜렷이 뛰어나며, 특히 첫 번째 클래스의 F-측정치에서 두각을 나타낸다.
• 최대 엔트로피 손실의 경우, 기대치 정규화/제약 조건 및 후행 정규화 방법보다 경험적으로 우수하며, 레이블 제약 조건을 사용하는 엔트로피 정규화 방법과도 경쟁 가능하다.
• 큰 마진 손실을 사용할 때 다중 분류 및 계층적 분류 과제에서 뛰어난 성능을 달성하였으며, LP를 통한 이산 레이블 할당의 효과성을 입증하였다.
• LP 기반의 레이블 할당과 함께 교차 최적화를 사용함으로써 복잡한 제약 함수의 기울기가 필요 없이 도메인 제약 조건을 효율적으로 처리할 수 있었다.
• 레이블 수 제약 조건이 정확히 알려져 있을 경우에도 이 방법은 안정적이고 효과적이며, 비지도 모델이 비지도 예제를 모두 다수 클래스에 할당하는 경향을 피할 수 있었다.
• 이 방법은 부분 레이블이 있는 경우를 포함하여 구조 예측 문제에 일반화되고 스케일이 잘 되어 있으며, 알려지지 않은 레이블을 y^u 집합의 일부로 간주함으로써 적용 가능하다.