[논문 리뷰] Weakly Supervised Object Localization Using Things and Stuff Transfer

Miaojing Shi, Holger Caesar외 1명|arXiv (Cornell University)|2017. 03. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 40인용 수 8

한 줄 요약

이 논문은 PASCAL Context를 소스 데이터셋으로 하여, 경계 박스(annotation 없이)를 포함한 ILSVRC, COCO, VOC 2007와 같은 타겟 데이터셋으로 정신 분할 지식(물체/스터프 지ap, 클래스 유사도, 동시 발생 관계 포함)을 전이하는 약한 감독 객체 지도 방법인 Things and Stuff Transfer(TST)를 제안한다. 전이된 지식으로 보정된 분할 지도를 다중 예제 학습(MIL) 프레임워크에 통합함으로써 TST는 최신 기술 수준(SOTA) 성능을 달성하며, 표준 MIL 대비 mAP를 최대 7.9% 향상시키고 이전의 전이 방법보다도 뛰어나다.

ABSTRACT

We propose to help weakly supervised object localization for classes where location annotations are not available, by transferring things and stuff knowledge from a source set with available annotations. The source and target classes might share similar appearance (e.g. bear fur is similar to cat fur) or appear against similar background (e.g. horse and sheep appear against grass). To exploit this, we acquire three types of knowledge from the source set: a segmentation model trained on both thing and stuff classes; similarity relations between target and source classes; and co-occurrence relations between thing and stuff classes in the source. The segmentation model is used to generate thing and stuff segmentation maps on a target image, while the class similarity and co-occurrence knowledge help refining them. We then incorporate these maps as new cues into a multiple instance learning framework (MIL), propagating the transferred knowledge from the pixel level to the object proposal level. In extensive experiments, we conduct our transfer from the PASCAL Context dataset (source) to the ILSVRC, COCO and PASCAL VOC 2007 datasets (targets). We evaluate our transfer across widely different thing classes, including some that are not similar in appearance, but appear against similar background. The results demonstrate significant improvement over standard MIL, and we outperform the state-of-the-art in the transfer setting.

연구 동기 및 목표

• 경계 박스 annotation이 없는 클래스를 위한 약한 감독 객체 지도(WSOL) 성능 향상을 위해, 완전한 annotation이 있는 소스 데이터셋의 지식을 활용하고자 한다.
• 물체(예: 자동차, 동물) 외에 배경 소재(예: 잔디, 하늘)와 같은 '스터프'(stuff)를 함께 전이하는 잠재적 가능성을 탐색하고자 한다.
• 전이된 정신 분할, 클래스 유사도, 동시 발생 관계를 하나의 프레임워크로 통합하여 다중 예제 학습(MIL) 파이프라인에 새로운 단서를 제공하는 통합 프레임워크를 개발하고자 한다.
• 외관은 다를 수 있지만 배경 맥락은 공유하는 다양한, 유사하지 않은 타겟 클래스에 대해 이 전이의 효과를 입증하고자 한다.

제안 방법

• 소스 데이터셋(PASCAL Context)에서 완전히 감독된 정신 분할 모델을 훈련하여, 타겟 이미지의 물체 및 스투프 분할 지도(점수 및 레이블 지도)를 생성한다.
• 소스에서 타겟으로의 물체 및 스투프 클래스 간의 클래스 유사도 및 동시 발생 관계를 전이하여, 분할 지도의 보정에 가중치 함수로 사용한다.
• 픽셀 수준 지도에서 객체 제안 수준으로 지식을 전파하기 위한 세 가지 점수 계산 방법—레이블 가중치, 대비 가중치, 영역 가중치—를 제안한다.
• 보정된 점수를 다중 예제 학습(MIL) 프레임워크에 통합하여, TST 점수를 새로운 단서로 사용해 제안의 순위를 향상시킨다.
• 소스 검증 세트에서 스코링 파rameter를 공동 최적화하기 위해 프록시 측정치(Rank 및 CorLoc@1)를 사용하여 타겟 데이터셋으로의 일반화를 보장한다.
• 각 구성 요소(LW, CW, AW)의 기여도를 검증하기 위해 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 물체 및 스투프 annotation이 모두 있는 소스 데이터셋에서 정신 분할 지식을 전이함으로써, 경계 박스 annotation이 없는 타겟 데이터셋에서 약한 감독 객체 지도 성능을 향상시킬 수 있는가?
• RQ2 물체 및 스투프 클래스 간의 동시 발생 관계 전이가, 외관은 다를 수 있지만 배경 맥락은 공유하는 경우에 국한하여, 정확도 향상에 얼마나 효과적인가?
• RQ3 레이블 가중치, 대비 가중치, 영역 가중치 방법이 개별적으로나 병합하여 MIL 프레임워크 내 제안 점수 향상에 얼마나 기여하는가?
• RQ4 '스터프' 지식(예: 잔디, 하늘)을 '물체'(예: 동물, 차량)와 함께 전이함으로써, 기존의 물체-물체 전이 방법보다 성능 향상을 이룰 수 있는가?
• RQ5 제안된 TST 방법은 ILSVRC, COCO 및 VOC 2007와 같은 표준 벤치마크에서 최신 기술 수준의 WSOL 및 전이 학습 방법과 비교해 볼 때 어떻게 성능을 내는가?

주요 결과

• TST는 표준 Deep MIL 기준선을 크게 뛰어넘어, 외관 기반 유사도(APP)를 사용할 경우 ILSVRC-20에서 CorLoc를 7.9%p 향상시켜 47.6%의 CorLoc를 달성하며, 세 가지 점수 계산 방법을 모두 사용한 경우에 최고 성능을 기록한다.
• PASCAL VOC 2007에서 TST는 최신 기술 수준의 WSOL 방법[27]과 물체-물체 전이 방법[21]을 모두 초월하여 60.8% mAP 및 47.6% CorLoc를 달성한다.
• ILSVRC-20에서 TST는 LSDA[20] 전이 방법보다 mAP에서 1.5%p 높은 성능을 기록하여, 다중 데이터셋 전이 학습에서의 우수성을 입증한다.
• 아블레이션 스터디 결과, 세 가지 점수 계산 방법(LW, CW, AW)이 각각 독립적으로 기여하며, 세 가지 모두 조합한 경우가 가장 높은 성능(47.6% CorLoc, ILSVRC-20 기준)을 기록한다.
• 프록시 측정치(Rank 및 CorLoc@1)는 제안된 점수 함수가 목표 객체를 배경 제안보다 우선순위를 높이는 데 효과적임을 확인하며, SEM 기반 유사도보다 APP 기반 유사도가 더 뛰어난 성능을 내는 것으로 나타났다.
• TST를 객체 제안(Objectness) 및 다중 접합(Multifolding)과 통합함으로써 성능이 5% 향상되며, 제안된 단서가 기존 최신 기술 수준의 구성 요소와 상호 보완적임을 확인한다.