[논문 리뷰] Data Distillation: Towards Omni-Supervised Learning

Ilija Radosavovic, Piotr Dollár외 3명|arXiv (Cornell University)|2017. 12. 12.

Multimodal Machine Learning Applications참고 문헌 40인용 수 43

한 줄 요약

이 논문은 단일 모델을 여러 데이터 변환에 적용한 예측을 앙상블하여 합성 애너테이션을 생성함으로써 인터넷 규모의 레이블이 없는 데이터를 활용하는 데이터 딜리션을 제안한다. 이 방법은 COCO 키포인트 검출 및 객체 검출에서 완전히 지도 학습 기반선을 초월하며, 키포인트 검출에서 최대 2.0 AP 향상과 객체 검출에서 AP_M에서 1.8 AP 향상을 기록하여 옴니-지도 학습의 가능성을 입증한다.

ABSTRACT

We investigate omni-supervised learning, a special regime of semi-supervised learning in which the learner exploits all available labeled data plus internet-scale sources of unlabeled data. Omni-supervised learning is lower-bounded by performance on existing labeled datasets, offering the potential to surpass state-of-the-art fully supervised methods. To exploit the omni-supervised setting, we propose data distillation, a method that ensembles predictions from multiple transformations of unlabeled data, using a single model, to automatically generate new training annotations. We argue that visual recognition models have recently become accurate enough that it is now possible to apply classic ideas about self-training to challenging real-world data. Our experimental results show that in the cases of human keypoint detection and general object detection, state-of-the-art models trained with data distillation surpass the performance of using labeled data from the COCO dataset alone.

연구 동기 및 목표

• 모든 가용 레이블이 있는 데이터와 막대한 레이블이 없는 데이터 자료를 조합하는 옴니-지도 학습의 개념을 탐구하기 위해.
• 모델 또는 손실 함수를 수정하지 않고도 실제 세계의 대규모 시각 인식 작업에서 레이블이 없는 데이터를 효과적으로 활용하는 데 도전하기 위해.
• 현대적이고 높은 정확도를 보이는 모델이 자가 학습을 위해 유용한 가짜 레이블을 신뢰성 있게 생성할 수 있음을 입증하기 위해.
• 데이터 딜리션의 효과성을 COCO 키포인트 검출 및 객체 검출과 같은 도전적인 벤치마크에서 평가하기 위해.
• 인터넷 규모의 레이블이 없는 데이터를 활용함으로써 완전히 지도 학습 기반선을 초월할 수 있음을 보여주기 위해.

제안 방법

• 단일 입력에 대해 여러 데이터 변환(예: 뒤집기, 스케일링)을 적용하여 레이블이 없는 이미지에서 예측을 생성한다.
• 이러한 변환된 시각에서의 예측을 앙상블하여 더 견고하고 다양한 가짜 레이블을 생성한다.
• 앙상블 예측 결과를 학생 모델 재학습을 위한 합성 학습 레이블로 사용한다.
• 모델 아키텍처나 손실 함수를 수정하지 않고 종단 간(end-to-end)으로 이 방법을 적용하며, 가짜 레이블을 진짜 레이블처럼 취급한다.
• 객체 검출에서 카테고리 간 객체 인스턴스 수를 균형 잡기 위해 카테고리별 신뢰도 임계치를 사용한다.
• 예측된 박스의 유니온에 대해 경계 박스 투표를 사용하여 변환 간 검출 결과를 집계한다.

실험 결과

연구 질문

• RQ1 데이터 딜리션은 인터넷 규모의 레이블이 없는 데이터를 효과적으로 활용하여 완전히 지도 학습 성능을 초월할 수 있는가?
• RQ2 단일 모델의 예측을 여러 데이터 변환에 걸쳐 앙상블하면 단일 예측보다 의미 있는 신호를 제공하는가?
• RQ3 데이터 딜리션은 COCO 키포인트 검출 및 객체 검출과 같은 실제 세계의 대규모 벤치마크에서 성능 향상에 기여하는가?
• RQ4 동일한 레이블이 있는 데이터에 더해 레이블이 없는 데이터를 사용할 때, 데이터 딜리션은 완전히 지도 학습 학습과 어떻게 비교되는가?
• RQ5 모델 또는 손실 함수를 수정하지 않고도 데이터 딜리션을 효과적으로 적용할 수 있는가?

주요 결과

• 데이터 딜리션은 COCO 키포인트 검출에서 마스크 R-CNN 기반선 대비 2.0 AP 향상을 기록하여 동일한 수의 수동으로 레이블링된 데이터로 학습한 것보다 성능이 뛰어나다.
• 객체 검출에서 co-115를 레이블이 있는 데이터로, un-120을 레이블이 없는 데이터로 사용할 경우, 완전히 지도 학습 기반선 대비 AP는 0.8–0.9 포인트, AP50는 0.9–1.1 포인트 향상되었다.
• 가장 큰 향상은 AP_M 지표에서 관찰되었으며, ResNeXt-101-32×4를 사용할 경우 43.7에서 45.5로 1.8포인트 향상되었다.
• 이 방법은 ResNet-50, ResNet-101, ResNeXt-101-32×4를 포함한 테스트한 모든 백본 아키텍처에서 일관되게 성능 향상을 보였다.
• 결과는 데이터 딜리션을 통해 완전히 지도 학습 기반선을 초월할 수 있음을 입증하며, 옴니-지도 학습의 잠재력을 확인한다.
• 데이터 딜리션의 성공은 현대 모델이 충분히 정확하여 신뢰할 수 있는 가짜 레이블을 생성할 수 있음을 시사하며, 복잡한 데이터 정제 히ュ리스틱의 필요성을 줄인다.