[논문 리뷰] Can Image-Level Labels Replace Pixel-Level Labels for Image Parsing

Zhiwu Lu, Fu, Zhenyong외 3명|2014. 03. 07.

Advanced Image and Video Retrieval Techniques참고 문헌 4인용 수 26

한 줄 요약

이 논문은 이미지 파싱을 위해 고비용의 픽셀 수준 레이블 대신 노이즈가 있는 이미지 수준 태그를 사용하는 약한 감독 희소 학습(WSSL) 프레임워크를 제안한다. 이미지를 영역으로 오버세그먼트하고, L1-최소화를 통해 반복적으로 영역 레이블을 정제함으로써, 최대 75%의 노이즈가 있는 이미지 수준 레이블이 존재하는 상황에서도 최신 기술 수준의 성능을 달성하며, 실질적으로 이미지 수준 레이블이 픽셀 수준의 지도 학습을 효과적으로 대체할 수 있음을 보여준다.

ABSTRACT

This paper presents a weakly supervised sparse learning approach to the problem of noisily tagged image parsing, or segmenting all the objects within a noisily tagged image and identifying their categories (i.e. tags). Different from the traditional image parsing that takes pixel-level labels as strong supervisory information, our noisily tagged image parsing is provided with noisy tags of all the images (i.e. image-level labels), which is a natural setting for social image collections (e.g. Flickr). By oversegmenting all the images into regions, we formulate noisily tagged image parsing as a weakly supervised sparse learning problem over all the regions, where the initial labels of each region are inferred from image-level labels. Furthermore, we develop an efficient algorithm to solve such weakly supervised sparse learning problem. The experimental results on two benchmark datasets show the effectiveness of our approach. More notably, the reported surprising results shed some light on answering the question: can image-level labels replace pixel-level labels (hard to access) as supervisory information for image parsing.

연구 동기 및 목표

• 소셜 이미지 컬렉션(예: Flickr)에서 흔히 볼 수 있는 노이즈가 있거나 불완전한 이미지 수준 태그만 제공될 때 이미지 파싱의 과제를 해결하기 위해.
• 쉽게 확보할 수 있는 이미지 수준 레이블을 활용하여 고비용이고 시간이 오래 소요되는 픽셀 수준 애너테이션의 필요성을 제거하기 위해.
• 이미지 수준 레이블이 신뢰할 수 없더라도, 반복적인 희소 학습을 통해 초기 영역 레이블을 정제하는 효율적이고 노이즈에 강건한 방법을 개발하기 위해.
• 이미지 수준 레이블이 노이즈가 있음에도 불구하고 실질적으로 픽셀 수준 지도 학습을 대체할 수 있음을 보여주기 위해.

제안 방법

• Blobworld 방법을 사용하여 입력 이미지를 영역으로 오버세그먼트하여 후보 객체 부분의 집합을 생성한다.
• 영역-객체 카테고리 호환성 기반의 레이블 전파 전략을 사용하여 이미지 수준 태그에서 초기 영역 수준 레이블을 추론한다.
• 노이즈를 억제하기 위해 L1-최소화를 활용하여 영역 레이블의 정제를 약한 감독 희소 학습 문제로 공식화한다.
• 영역 레이블 간의 희소성과 일관성을 동시에 강제하기 위해 L1-정규화 최적화 기반의 효율적인 반복 알고리즘을 적용한다.
• 객체 카테고리에 대한 사전 지식과 공간 일관성을 통합하여 레이블 스무딩을 안내하고 강건성을 향상시킨다.
• 두 단계 접근 방식을 사용하여 레이블 정제 과정을 최적화한다: (1) 이미지 태그에서 초기 레이블 할당, (2) 희소 코딩을 통한 반복적 정제.

실험 결과

연구 질문

• RQ1 노이즈가 있거나 불완전한 이미지 수준 레이블이라도 픽셀 수준 애너테이션 없이 고성능의 이미지 파싱 시스템을 훈련하는 데 효과적으로 사용될 수 있는가?
• RQ2 이미지 파싱 과정에서 이미지 수준 레이블의 노이즈를 체계적으로 줄일 수 있는가? 이를 통해 분할 정확도를 향상시킬 수 있는가?
• RQ3 이미지 수준 지도 학습만 제공될 경우, 약한 감독 희소 학습 프레임워크가 기존 방법보다 얼마나 뛰어난 성능을 낼 수 있는가?
• RQ4 노이즈가 있는 이미지 수준 태그만 사용하고 픽셀 수준 레이블이 전혀 없더라도, 완전히 감독된 방법과 비교할 만한 성능을 달성할 수 있는가?

주요 결과

• 제안된 WSSL 방법은 MSRC 및 VOC2007 기준 데이터셋에서 최대 75%의 노이즈가 있는 이미지 수준 레이블이 존재하는 상황에서도 최신 기술 수준의 성능을 달성한다.
• VOC2007 데이터셋에서 WSSL 방법은 노이즈가 있는 이미지 수준 레이블 설정 하에서 기존 최신 기술 수준의 방법들, 심지어 완전히 감독된 방법들보다도 뛰어난 성능을 보였다.
• 75%의 노이즈가 있는 레이블 조건에서 VOC2007 데이터셋에서 평균 교차율(мIoU) 47%를 달성하여 동일 조건에서 기준 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• VOC2007 데이터셋(15,000개 영역)에서 알고리즘은 40초 내에 실행되어, 유사한 방법들(47~145초) 중에서 가장 빠른 속도를 기록했다.
• 두 데이터셋의 약 절반에 해당하는 객체 카테고리에서 WSSL 방법은 최고의 성능를 기록하여 강력한 카테고리별 일반화 능력을 보였다.
• 결과는 이미지 수준 레이블이 노이즈가 있음에도 불구하고 실세계 이미지 파싱 응용에서 픽셀 수준 레이블을 효과적으로 대체할 수 있음을 입증한다.