[논문 리뷰] Deep Learning for Weakly-Supervised Object Detection and Object Localization: A Survey

Feifei Shao, Long Chen외 6명|arXiv (Cornell University)|2021. 05. 26.

Advanced Neural Network Applications참고 문헌 86인용 수 9

한 줄 요약

이 종합 검토는 2016년 이후 약한 감독을 통한 객체 검출(WSOD) 및 국소화(WSOL)를 위한 딥러닝 접근법에 대한 포괄적인 개요를 제공한다. 주요 방법, 기법, 벤치마크 및 평가 지표를 다루며, 의료 영상, 3D 검출, 영상 객체 검출 분야에서의 향후 방향성을 제시한다. 이는 최소한의 감독으로 WSOD 성능을 향상시키기 위한 비판적 로드맵을 제공한다.

ABSTRACT

Weakly-Supervised Object Detection (WSOD) and Localization (WSOL), i.e., detecting multiple and single instances with bounding boxes in an image using image-level labels, are long-standing and challenging tasks in the CV community. With the success of deep neural networks in object detection, both WSOD and WSOL have received unprecedented attention. Hundreds of WSOD and WSOL methods and numerous techniques have been proposed in the deep learning era. To this end, in this paper, we consider WSOL is a sub-task of WSOD and provide a comprehensive survey of the recent achievements of WSOD. Specifically, we firstly describe the formulation and setting of the WSOD, including the background, challenges, basic framework. Meanwhile, we summarize and analyze all advanced techniques and training tricks for improving detection performance. Then, we introduce the widely-used datasets and evaluation metrics of WSOD. Lastly, we discuss the future directions of WSOD. We believe that these summaries can help pave a way for future research on WSOD and WSOL.

연구 동기 및 목표

• 2016년 이후 약한 감독을 통한 객체 검출(WSOD) 및 국소화(WSOL) 방법의 진화를 체계적으로 검토하고 분류하는 것.
• WSOD의 주요 과제, 특히 클래스 무관 국소화 및 노이즈가 있는 활성화 맵과 같은 문제를 식별하고 분석하는 것.
• 다양한 아키텍처와 설정에서 WSOD 성능을 향상시키는 데 효과적인 고급 기법과 학습 기술을 요약하는 것.
• WSOD 모델의 벤치마크를 위한 널리 사용되는 데이터셋과 표준 평가 지표를 제시하는 것.
• 의료 영상, 3D 객체 검출, 영상 객체 검출 분야에서의 향후 연구 방향을 탐색하는 것.

제안 방법

• 본 논문은 100개 이상의 WSOD 및 WSOL 방법을 검토하며, 다중 예제 학습(MIL), 클래스 활성화 맵(CAM), 영역 제안 기반 방법 등의 카테고리로 분류한다.
• 딥 컨volution 네트워크를 통한 특징 추출, 제안 생성(예: 선택적 검색, 에지 박스), 그리고 주의 메커니즘 또는 풀링 기반 국소화와 같은 WSOD 프레임워크의 핵심 구성 요소를 분석한다.
• 이미지 수준의 레이블에서 국소화 정확도를 향상시키기 위해 CAM 정제, 공간 주의, 가상 레이블링 등의 기법을 검토한다.
• 다중 해상도 추론, 적대적 학습, 계층적 네트워크와 같은 학습 전략의 효과를 평가하여 객체 제안을 정밀하게 다듬는다.
• WSDDN, OICR, WILDCAT, WCCN 등의 모델 아키텍처에 대한 세부 분석을 포함하며, 설계 선택 사항과 성능 트레이드오프를 강조한다.
• 다양한 손실 함수와 학습 프로토콜을 비교하며, 특히 약한 감독 환경에서 교차 엔트로피와 대비 학습의 사용을 다룬다.

실험 결과

연구 질문

• RQ1 MIL 기반, CAM 기반 등 다양한 약한 감독을 통한 객체 검출 프레임워크는 국소화 정확도와 견고성 측면에서 어떻게 비교되는가?
• RQ2 개체 수준의 레이블이 없는 상황에서 WSOD 성능을 향상시키는 데 가장 효과적인 기법과 학습 기술은 무엇인가?
• RQ3 현재의 벤치마크와 평가 지표(예: PASCAL VOC에서의 mAP)는 WSOD 모델의 진전과 한계를 어떻게 반영하는가?
• RQ4 3D 포인트 클라우드 및 영상 시퀀스와 같은 복잡한 도메인으로 WSOD를 확장할 때의 주요 과제는 무엇인가?
• RQ5 특히 의료 영상 및 경량 배포 환경에서 WSOD의 가장 유망한 향후 방향은 무엇인가?

주요 결과

• 최신 WSOD 기법은 PASCAL VOC 2007 데이터셋에서 평균 정밀도(mAP) 54.9%를 달성하였으며, 이는 완전히 감독된 검출기의 86.9% mAP에 비해 크게 낮은 수준이다.
• 주의 메커니즘, 가상 레이블링, 계층적 네트워크와 같은 기법은 객체 제안을 정밀하게 다듬음으로써 국소화 정확도를 크게 향상시킨다.
• 클래스 활성화 맵(CAM)과 Grad-CAM을 사용하면 이미지 수준의 레이블에서 국소화가 가능하지만, 일반적으로 해상도가 낮거나 정확도가 떨어지는 바운딩 박스를 유발한다.
• OICR 및 WCCN과 같은 방법은 약한 감독 하에 엔드 투 엔드 학습을 통해 구분 가능한 영역을 학습함으로써 성능 향상을 보였다.
• 경량 네트워크 설계는 계산 자원이 제한된 모바일 및 엣지 디바이스에 대한 배포를 가능하게 하기 위해 핵심적인 방향으로 부상하고 있다.
• 향후 3D 객체 검출 및 의료 영상 분야의 적용 가능성이 매우 높으며, 특히 MRI 및 X-ray 스캔에서의 약한 감독을 통한 병변 국소화에 유망한 전망을 보이고 있다.