[논문 리뷰] Deep Co-Training for Semi-Supervised Image Recognition

Siyuan Qiao, Wei Shen외 3명|arXiv (Cornell University)|2018. 03. 15.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 26

한 줄 요약

이 논문은 딥 러닝에 Co-Training 프레임워크를 확장하여 상호보완적인 시각을 가진 여러 신경망을 훈련시키는 딥 코트레이닝(Deep Co-Training, DCT)을 제안한다. 적대적 예제를 통해 시각 간의 다양성을 강제하여 모델 붕괴를 방지하며, SVHN, CIFAR-10/100, ImageNet에서 이전 최고 성능 방법들보다 뚜렷한 정확도 향상을 이룬다.

ABSTRACT

In this paper, we study the problem of semi-supervised image recognition, which is to learn classifiers using both labeled and unlabeled images. We present Deep Co-Training, a deep learning based method inspired by the Co-Training framework. The original Co-Training learns two classifiers on two views which are data from different sources that describe the same instances. To extend this concept to deep learning, Deep Co-Training trains multiple deep neural networks to be the different views and exploits adversarial examples to encourage view difference, in order to prevent the networks from collapsing into each other. As a result, the co-trained networks provide different and complementary information about the data, which is necessary for the Co-Training framework to achieve good results. We test our method on SVHN, CIFAR-10/100 and ImageNet datasets, and our method outperforms the previous state-of-the-art methods by a large margin.

연구 동기 및 목표

• 준지도 학습 이미지 인식을 위한 Co-Training 프레임워크를 딥 러닝에 확장하는 것.
• 이중 시각 훈련에서 네트워크가 동일한 예측으로 수렴하는 모델 붕괴 문제를 해결하는 것.
• 다중 딥 네트워크가 비라벨 데이터에 대해 상호보완적이고 다양한 예측을 제공하도록 보장하는 것.
• Co-Training 가정과 시각 간 차이 제약 조건을 결합한 확장 가능하고 엔드 투 엔드 미분 가능한 방법을 개발하는 것.
• 이전 방법들이 결과를 보고하지 못한 이미지넷과 같은 벤치마크 데이터셋에서 최고 성능을 입증하는 것.

제안 방법

• 동일한 라벨된 데이터를 사용하지만 다른 데이터 증강을 적용한 여러 딥 네트워크를 별개의 시각으로 훈련시킨다.
• 비라벨 데이터에서 두 네트워크의 예측 간 젠슨-쇼넬 분산을 최소화하여 Co-Training 가정을 강제한다.
• 모델 붕괴를 방지하기 위해, 한 네트워크가 다른 네트워크에서 생성한 적대적 예제에 대해 강건해지도록 훈련시킴으로써 시각 간 차이 제약 조건을 도입한다.
• 적대적 예제를 사용하여 두 네트워크가 서로 다른 예측을 하도록 하는 데이터 분포를 생성함으로써 상호보완적 학습을 보장한다.
• 손실 함수는 라벨된 데이터에 대한 지도 학습 손실과 비라벨 데이터에서 일致성과 다양성을 장려하는 코트레이닝 손실을 조합한다.
• 2, 4, 8개의 시각을 포함한 다중 시각 설정으로도 프레임워크를 확장하여 확장성과 성능를 유지한다.

실험 결과

연구 질문

• RQ1 Co-Training 프레임워크는 딥 신경망을 위한 준지도 학습 이미지 인식에 효과적으로 확장될 수 있는가?
• RQ2 딥 신경망이 코트레이닝 중 동일한 예측으로 수렴하는 것을 방지하려면 어떻게 해야 하는가?
• RQ3 적대적 예제는 코트레이닝에서 시각 간 다양성을 강제하고 일반화를 향상시키는 데 기여할 수 있는가?
• RQ4 제안된 방법은 이미지넷을 포함한 표준 벤치마크에서 최고 성능을 달성하는가?
• RQ5 다중 시각 코트레이닝에서 시각 수가 증가함에 따라 이 방법은 어떻게 스케일링되는가?

주요 결과

• 딥 코트레이닝은 SVHN, CIFAR-10, CIFAR-100에서 이전 최고 성능 방법들보다 크게 뛰어난 성능을 기록한다.
• 이미지넷에서는 대부분의 이전 준지도 학습 방법들이 결과를 보고하지 못한 벤치마크에서 상당한 정확도 향상을 달성한다.
• 시각 간 차이를 강제하기 위해 적대적 예제를 사용함으로써 모델 붕괴가 감소하고 일반화가 향상된다.
• 이중 시각 DCT 방법은 2, 4, 8개의 시각 모두에서 뛰어난 성능를 기록하여 확장 가능성을 입증한다.
• 여러 데이터셋에서 일관된 성능 향상이 관찰되어 Co-Training과 적대적 정규화를 결합한 것이 효과적임을 확인한다.
• 제거 실험 결과, 시각 간 차이 제약 조건이 성능 향상에 필수적임을 입증하였으며, 이를 제거할 경우 모델 붕괴와 정확도 저하가 발생한다.