[논문 리뷰] Improved Training for Self-Training.

Gal Hyams, Daniel Greenfeld외 1명|arXiv (Cornell University)|2017. 09. 30.

Machine Learning and Data Classification인용 수 2

한 줄 요약

이 논문은 레이블이 제한된 데이터에서 고신뢰도 예측을 반복적으로 레이블링함으로써 모델 성능을 향상시키는 자기학습 방법을 제안한다. MNIST와 ADE20K에 적용된 이 방법은 온라인 학습 중에 신뢰도가 높은 예측을 가짜 레이블로 간주함으로써 이미지 분류와 준감독 세그멘테이션에서 정확도 향상을 달성한다.

ABSTRACT

It is well known that for some tasks, labeled data sets may be hard to gather. Therefore, we wished to tackle here the problem of having insufficient training data. We examined learning methods from unlabeled data after an initial training on a limited labeled data set. The suggested approach can be used as an online learning method on the unlabeled test set. In the general classification task, whenever we predict a label with high enough confidence, we treat it as a true label and train the data accordingly. For the semantic segmentation task, a classic example for an expensive data labeling process, we do so pixel-wise. Our suggested approaches were applied on the MNIST data-set as a proof of concept for a vision classification task and on the ADE20K data-set in order to tackle the semi-supervised semantic segmentation problem.

연구 동기 및 목표

• 정확도가 높은 애너테이션 과정이 필요한 분야, 특히 세그멘테이션과 같은 작업에서 레이블이 부족한 문제를 해결한다.
• 초기 소량의 레이블 데이터로 학습한 후, 비라벨 데이터를 효과적으로 활용할 수 있는 방법을 개발한다.
• 고신뢰도 예측을 사용하여 비라벨 데이터를 반복적으로 레이블링하고 재학습하는 온라인 학습 전략을 구현한다.
• 이 방법이 이미지 분류(MNIST)와 세그멘테이션(ADE20K) 작업 모두에서 효과적인지 검증한다.

제안 방법

• 소량의 레이블 데이터셋으로 초기 모델을 학습하여 비라벨 데이터에 대한 예측을 생성한다.
• 사전 정의된 임계값을 초과하는 신뢰도를 가진 예측을 선별하고, 이를 가짜 레이블로 간주한다.
• 기존의 레이블 데이터와 새로 생성된 가짜 레이블 데이터를 동시에 사용하여 온라인 방식으로 모델을 재학습한다.
• 세그멘테이션 작업에 적용할 경우, 각 픽셀의 예측에 대해 신뢰도를 평가한 후 가짜 레이블로 사용한다.
• 반복적 개선 전략을 적용: 매 반복마다 새로 생성된 가짜 레이블 데이터를 포함하여 모델을 재학습한다.
• 일반화 능력을 검증하기 위해 분류(MNIST)와 밀도 높은 예측(ADE20K) 작업 모두에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 레이블이 제한된 환경에서 고신뢰도 가짜 레이블을 사용한 자기학습이 모델 성능 향상에 기여할 수 있는가?
• RQ2 고비용 애너테이션을 수반하는 세그멘테이션 작업과 같은 준감독 설정에서 제안된 방법의 효과성은 어떠한가?
• RQ3 온라인 방식의 반복적 재학습 전략이 다양한 작업에서 일관된 성능 향상을 이끌어낼 수 있는가?
• RQ4 소규모 수정만으로도 단순한 분류 작업(MNIST)에서 복잡한 밀도 예측 작업(ADE20K)으로까지 일반화가 가능한가?

주요 결과

• 소량의 초기 레이블 데이터셋과 비라벨 데이터를 활용하여 반복적인 가짜 레이블링을 통해 MNIST에서 성능 향상을 달성한다.
• ADE20K 데이터셋에서 고신뢰도 픽셀 수준 예측을 활용함으로써 준감독 세그멘테이션에서 경쟁적인 성능을 달성한다.
• 반복적 재학습 과정을 통해 기준 자기학습 방법보다 일관된 성능 향상을 이룬다.
• 이 방법은 온라인 학습 방법으로서 효과적이며, 비라벨 테스트 데이터에 지속적으로 적응할 수 있도록 한다.
• 소규모 아키텍처 수정만으로도 이미지 분류에서 밀도 높은 예측 작업으로의 일반화 능력이 뛰어나다.
• 고신뢰도 예측은 가짜 레이블로 사용하기에 충분히 신뢰할 수 있으며, 최소한의 인간 애너테이션으로 모델 정확도를 크게 향상시킨다.