[논문 리뷰] Object Detection as a Positive-Unlabeled Problem

Yuewei Yang, Kevin J Liang외 1명|arXiv (Cornell University)|2020. 02. 11.

Advanced Neural Network Applications참고 문헌 18인용 수 17

한 줄 요약

이 논문은 실제 데이터셋에서 부족한 박싱(annotation)으로 인해 표준 양성-부정성(positive-negative, PN) 교차엔트로피 손실에서 오해의 신호가 발생하는 문제를 해결하기 위해 객체 검출을 양성-미정의(positive-unlabeled, PU) 학습 문제로 간주하는 방법을 제안한다. 미정의 영역이 부정성으로 간주되는 것의 가정을 제거함으로써, 저자들은 동적으로 양성 클래스 사전 확률을 추정하는 PU 손실을 도입하여, 다양한 레이블 누락 정도를 가진 PASCAL VOC, MS COCO, Visual Genome, DeepLesion에서 일관된 성능 향상을 달성한다.

ABSTRACT

As with other deep learning methods, label quality is important for learning modern convolutional object detectors. However, the potentially large number and wide diversity of object instances that can be found in complex image scenes makes constituting complete annotations a challenging task; objects missing annotations can be observed in a variety of popular object detection datasets. These missing annotations can be problematic, as the standard cross-entropy loss employed to train object detection models treats classification as a positive-negative (PN) problem: unlabeled regions are implicitly assumed to be background. As such, any object missing a bounding box results in a confusing learning signal, the effects of which we observe empirically. To remedy this, we propose treating object detection as a positive-unlabeled (PU) problem, which removes the assumption that unlabeled regions must be negative. We demonstrate that our proposed PU classification loss outperforms the standard PN loss on PASCAL VOC and MS COCO across a range of label missingness, as well as on Visual Genome and DeepLesion with full labels.

연구 동기 및 목표

• 표준 양성-부정성(PN) 분류를 사용할 경우, 레이블 누락으로 인해 잘못된 학습 신호가 발생하는 실제 데이터셋에서 객체 레이블이 불완전한 문제를 해결하기 위해.
• 누락된 레이블이 객체의 부재를 의미하지는 않으며, 미정의 영역이 배경임을 가정하는 PN 가정에 도전하기 위해.
• 부분적으로 레이블이 부족한 데이터셋의 진짜 데이터 분포를 더 잘 모델링할 수 있도록 객체 검출을 위한 양성-미정의(PU) 학습 프레임워크를 제안하기 위해.
• 다양한 레이블 누락 정도를 가진 다양한 데이터셋에서 PU 학습이 검출 성능 향상에 기여함을 입증하기 위해.
• 이중 분류를 넘어서 다중 클래스 검출 및 분할, 동작 검출 등에의 PU 학습 적용 가능성을 확장하기 위해.

제안 방법

• 미정의 영역이 부정성으로 간주되는 가정을 제거하고, 대신 이들을 잠재적으로 양성 또는 알 수 없는 것으로 간주함으로써 객체 검출을 PU 학습 문제로 재구성하기 위해.
• 학습 중에 양성 예측의 누적 평균을 사용하여 양성 클래스의 사전 확률을 동적으로 추정하는 PU 분류 손실을 도입하기 위해.
• Faster R-CNN의 영역 제안 네트워크(RPN)에서 표준 교차엔트로피 손실을 PU 목표로 수정함으로써, 모델 아키텍처에 최소한의 변경을 유지하면서.
• 양성 클래스 사전 확률 π를 양성 샘플에 대한 모델 예측의 이동 평균을 사용하여 추정함으로써, 추가적인 지도 학습 없이도 엔드 투 엔드 학습이 가능하도록 하기 위해.
• RPN의 이진 객체 존재성 분류기만 PU 손실을 적용하고, 나머지 검출 헤드 부분은 기존 그대로 유지하기 위해.
• 다중 클래스 검출에 확장하기 위해 각 객체 카테고리별로 다중 클래스 사전 확률 π_c를 추정하는 방법을 제안하지만, 이는 향후 연구 과제로 남겨둔다.

실험 결과

연구 질문

• RQ1 부족한 레이블을 PU 학습 문제로 간주하는 것이 PN 문제로 간주하는 것보다 객체 검출 성능 향상에 기여하는가?
• RQ2 다양한 데이터셋에서 레이블 누락 정도가 변할 때 PU 손실의 성능은 어떻게 되는가?
• RQ3 알려진 레이블 누락이 있는 실제 데이터셋에서 PU 목표가 표준 PN 교차엔트로피 손실보다 우월한가?
• RQ4 레이블링이 비용이 많이 들고 일관성 없이 이루어지는 의료 영상 데이터셋에도 PU 접근법이 일반화 가능한가?
• RQ5 양성 클래스 사전 확률을 동적으로 추정하는 것이 모델 수렴과 검출 정확도에 어떤 영향을 미치는가?

주요 결과

• PASCAL VOC와 MS COCO에서 레이블 누락 정도가 다양한 수준에서 테스트된 결과, PU 손실이 표준 PN 교차엔트로피 손실보다 평균 정밀도(mAP) 향상에 일관되게 뛰어난 성능을 보였다.
• 레이블링이 어려운 Visual Genome와 전문가 기반 레이블링이 제한된 DeepLesion에서는 PU 목표가 PN 기반 모델보다 뚜렷한 성능 향상을 이룩했다.
• DeepLesion에서는 PN에서 PU 목표로 전환함으로써, 이미지당 허용 가능한 가짜 경고 수가 다양한 경우에 걸쳐 병변 검출 민감도와 FROC 점수가 향상되었다.
• 최대 30%의 레이블 누락이 있는 데이터셋에서 학습된 모델조차도 PU 손실이 더 뛰어난 성능을 내어, 레이블 불완전성에 대한 강건성을 입증했다.
• 예측의 이동 평균을 통해 양성 클래스 사전 확률을 동적으로 추정하는 방식은 최소한의 아키텍처 변경으로 효과적인 PU 학습을 가능하게 했다.
• 다양한 데이터셋에서 PU 학습의 성과 향상이 일관되게 나타나, 레이블이 불완전할 경우 표준 객체 검출기에서 PN 가정이 최적화되지 않았음을 시사한다.