[논문 리뷰] Predicting the Effectiveness of Self-Training: Application to Sentiment Classification

Vincent Van Asch, Walter Daelemans|arXiv (Cornell University)|2016. 01. 13.

Topic Modeling참고 문헌 21인용 수 15

한 줄 요약

이 논문은 자가학습(self-training)이 감성 분류 성능을 햖을지 예측하기 위해 코퍼스 유사도 측정법—특히 테스트-트레이닝 유사도—를 사용하는 것을 제안한다. 유사도 점수(예: 젠슨-쇼난 분산)를 활용하여 자가학습 성과를 높은 정밀도로 예측함으로써, 테스트/트레이닝 유사도만으로도 충분하고 종종 최적의 예측이 가능하다는 것을 보여준다.

ABSTRACT

The goal of this paper is to investigate the connection between the performance gain that can be obtained by selftraining and the similarity between the corpora used in this approach. Self-training is a semi-supervised technique designed to increase the performance of machine learning algorithms by automatically classifying instances of a task and adding these as additional training material to the same classifier. In the context of language processing tasks, this training material is mostly an (annotated) corpus. Unfortunately self-training does not always lead to a performance increase and whether it will is largely unpredictable. We show that the similarity between corpora can be used to identify those setups for which self-training can be beneficial. We consider this research as a step in the process of developing a classifier that is able to adapt itself to each new test corpus that it is presented with.

연구 동기 및 목표

• 자신의 학습이 감성 분류 성능을 향상시키는 조건, 특히 학습 데이터와 테스트 데이터의 분포가 다를 경우를 특정하는 것.
• 코퍼스 유사도가 자가학습 성공 또는 실패를 신뢰할 수 있는 예측자로 기능할 수 있는지 조사하는 것.
• 모든 이용 가능한 비라벨 데이터를 포함하는 것보다 단일로 가장 유사한 비라벨 코퍼스를 선택하는 것이 더 낫다는 것을 평가하는 것.
• 유사도 측정법(예: 코사인 유사도, KL 발산, JS 발산)이 자가학습 결과를 예측하는 데 얼마나 유용한지 평가하는 것.
• 도메인 적응을 위한 최적의 데이터를 선택할 수 있는 자가적응 분류기의 개발을 지원하는 것.

제안 방법

• 두 단계로 구성된 자가학습 절차를 사용: 라벨이 부여된 데이터로 학습, 비라벨 데이터에 대해 라벨 예측, 그 후 라벨 데이터와 의사라벨 데이터를 병합하여 재학습.
• 여러 유사도 측정법—코사인 거리, 쿨백-라이블러 발산, 젠슨-쇼난 발산—을 사용하여 학습, 테스트 및 추가(비라벨) 코퍼스 간의 유사도를 정량화.
• 유사도 특징을 기반으로 자가학습 성능을 예측하기 위해 지도학습 및 비지도학습 예측 모델을 적용.
• 예측 능력을 평가하기 위해 유일하게 테스트/트레이닝 유사도를 특징으로 사용하는 리브-원-아웃 실험을 실시.
• 모델 성능을 평가하기 위해 '성과 증가' 예측(POS 클래스)에 대한 매크로 평균 F-스코어와 정밀도를 사용.
• 유사도 측정법을 사용하여 벡터 공간에서 코퍼스 간 관계를 시각화하여 해석 가능성 지원.

실험 결과

연구 질문

• RQ1 코퍼스 유사도는 감성 분류에서 자가학습이 성능 향상으로 이어지는지 예측할 수 있는가?
• RQ2 추가 비라벨 데이터를 포함한 유사도보다 테스트 및 트레이닝 코퍼스 간의 유사도가 더 유용한 예측자인가?
• RQ3 여러 유사도 측정법을 사용하는 것이 테스트/트레이닝 유사도만 사용하는 것보다 자가학습 효과성을 더 잘 예측할 수 있는가?
• RQ4 유사도 측정법 중에서(예: 코사인, KL, JS 발산) 어느 것이 자가학습 성과 예측에 가장 정확한가?
• RQ5 자신의 학습에 가장 유익한 비라벨 코퍼스를 테스트 데이터에 대한 유사도 기반으로 자동으로 선택할 수 있는가?

주요 결과

• 테스트/트레이닝 유사도만으로도 매우 유용하며 종종 자가학습 성과 예측에 충분하며, 여러 유사도 특징을 사용하는 모델보다 성능이 뛰어나다.
• 젠슨-쇼난 발산은 자가학습 성공 예측의 정밀도와 특이도 측면에서 다른 측정법보다 일관되게 뛰어나다.
• 세 가지 유사도 특징(테스트/트레이닝, 테스트/추가, 추가/트레이닝)을 사용하면 예측된 성과 증가 사례(진정 양성) 수는 증가하지만, 특히 쿨백-라이블러 발산의 경우 거짓 양성도 증가할 수 있다.
• 코사인 거리의 경우 추가 특징을 추가하면 진정 양성보다 거짓 양성이 더 많아져 매크로 평균 F-스코어가 감소한다.
• 특정 테스트/트레이닝 조합에 대해 사전 데이터가 없는 경우, 테스트와 트레이닝 코퍼스 간의 유사도가 자가학습 결과 예측에 가장 신뢰할 수 있는 예측자이다.
• 결과는 도메인 유사도가 도메인 적응에서 핵심 요소임을 시사하며, 표준화된 유사도 측정법은 적응 기법의 객관적 평가를 크게 향상시킬 수 있다.