[논문 리뷰] Dual Teaching: A Practical Semi-supervised Wrapper Method

Fuqiang Liu, Chenwei Deng외 2명|arXiv (Cornell University)|2016. 11. 12.

Face and Expression Recognition참고 문헌 17인용 수 6

한 줄 요약

이 논문은 기반 학습기 성능을 향상시키기 위해 잘못 분류된 무라벨 예제를 수정하기 위해 두 개의 외부 분류기인 FP 티처와 FN 티처를 사용하는 실용적인 준지도 학습 래퍼 방법인 더블 티칭을 제안한다. 각 티처의 재현율 > 0이고 조합된 정밀도 > 1임을 보장함으로써, 이중 티칭은 최소한의 레이블 데이터로도 성능을 효과적으로 향상시킨다. 이는 72.3%의 경우에서 자기학습, 공훈련, S3VM/S4VM보다 뛰어나며, 다양한 데이터셋에서 20% 레이블 데이터로도 완전히 레이블링된 모델과 동등한 성능을 달성한다.

ABSTRACT

Semi-supervised wrapper methods are concerned with building effective supervised classifiers from partially labeled data. Though previous works have succeeded in some fields, it is still difficult to apply semi-supervised wrapper methods to practice because the assumptions those methods rely on tend to be unrealistic in practice. For practical use, this paper proposes a novel semi-supervised wrapper method, Dual Teaching, whose assumptions are easy to set up. Dual Teaching adopts two external classifiers to estimate the false positives and false negatives of the base learner. Only if the recall of every external classifier is greater than zero and the sum of the precision is greater than one, Dual Teaching will train a base learner from partially labeled data as effectively as the fully-labeled-data-trained classifier. The effectiveness of Dual Teaching is proved in both theory and practice.

연구 동기 및 목표

• 준지도 학습 래퍼 방법의 이론적 가정과 실용적 타당성 사이의 격차를 해소하기 위해.
• 실제 세계에 구현 가능한 쉽게 검증 가능한 가정을 가진 방법을 개발하기 위해.
• 복잡한 가정이나 특수한 데이터 구조를 요구하지 않고도 효과적인 준지도 학습을 가능하게 하기 위해.
• 기반 학습기가 훈련 내내 성능이 악화되지 않도록 보장하여 완전히 레이블링된 기준 모델에 비해 안전성을 유지하기 위해.
• 모든 종류의 지도 학습기 모델을 기반 모델로 사용할 수 있는 유연한 프레임워크를 제공하기 위해.

제안 방법

• 더블 티칭은 두 개의 외부 분류기인 FP 티처와 FN 티처를 사용한다. FP 티처는 기반 학습기의 양성 예측에서 가짜 양성 예측를 식별하고, FN 티처는 부정 예측에서 가짜 음성 예측를 식별한다.
• 각 훈련 세대에서 기반 학습기는 무라벨 데이터를 분류하고, 두 티처는 유지보수된 레이블 데이터 세트에서 검증되어 각각의 재현율 > 0 이며 조합된 정밀도 > 1임을 확인한다.
• 가정이 충족되면, 티처들이 잘못 분류된 예제를 레이블링하고, 수정된 레이블이 붙은 예제들이 재학습 세트에 추가된다.
• 기반 학습기는 이전에 잘못 분류된 모든 예제들을 수정된 레이블로 재학습함으로써 성능을 반복적으로 향상시킨다.
• 티처가 성능 기준을 충족하지 못할 경우, 남은 레이블 데이터를 사용해 티처를 튜닝함으로써 가정의 지속적인 타당성을 확보한다.
• 이 과정은 재귀적으로 반복되며, 티처의 가정이 유지되는 한 기반 학습기는 점진적으로 향상된다.

실험 결과

연구 질문

• RQ1 실제 세계 상황에서 실현 가능한 가정을 가진 준지도 학습 래퍼 방법을 설계할 수 있는가?
• RQ2 부분적으로 레이블링된 데이터로 훈련된 기반 학습기의 성능이 완전히 레이블링된 모델과 동등한가?
• RQ3 다양한 데이터셋과 기반 학습기에서 더블 티칭은 성능을 유지하거나 향상시키는가?
• RQ4 자기학습, 공훈련, S3VM 및 S4VM와 같은 생산적인 준지도 학습 방법과 비교해 더블 티칭은 효과성과 안전성 면에서 얼마나 뛰어나게 작용하는가?
• RQ5 레이블 데이터만으로 지도 학습을 수행한 경우와 비교해 성능이 악화되지 않도록 안전하게 적용할 수 있는가?

주요 결과

• 324개의 실험 케이스(3개의 기반 학습기 × 12개의 데이터셋 × 9개의 레이블 비율)에서 더블 티칭은 다른 준지도 학습 방법보다 72.3%의 경우에서 뛰어난 성능을 보였으며, 뿐만 아니라 뿐다 2.8%의 경우에서 성능이 열 劣화되었다.
• 11개의 케이스에서 더블 티칭은 완전히 레이블링된 기준 모델에 밀렸지만, 이는 전체적으로 매우 뛰어난 효과를 의미한다.
• 거의 모든 데이터셋과 기반 학습기에서, 더블 티칭은 레이블 데이터가 20%일 때도 완전히 레이블링된 학습과 비교할 만한 성능을 달성했다.
• 안전성 확보가 이루어졌다: 두 티처의 재현율이 0일 경우, 재학습 세트는 안정화되었고 기반 학습기는 더 이상 악화되지 않았다.
• S3VM 및 S4VM와 비교해 더블 티칭은 5%, 10%, 20% 레이블 데이터 비율에서 경쟁적인 정확도 향상을 보였으며, 다양한 기반 학습기 모델에 더 잘 적응하는 것으로 나타났다.
• 정밀도 및 재현율 가정이 충족된다면, 시간이 지남에 따라 티처 성능이 저하되더라도 프레임워크는 안정적인 향상을 유지한다.