[논문 리뷰] Deep Interactive Object Selection

Ning Xu, Brian Price외 3명|arXiv (Cornell University)|2016. 03. 13.

Advanced Image and Video Retrieval Techniques참고 문헌 19인용 수 42

한 줄 요약

이 논문은 양성 및 음성 클릭을 유클리드 거리 맵으로 변환하여 RGB 이미지와 융합함으로써, 완전 컨volution 네트워크(FCN-8s)를 훈련하기 위한 심층 학습 기반의 상호작용형 객체 선택 방법을 제안한다. 이 모델은 깊이 학습된 특징을 활용하여 객체 인식 능력을 향상시키고, FCN 출력과 그래프 컷 최적화를 융합하여 경계 정밀도를 향상시켜, 볼 수 있는 및 볼 수 없는 객체 카테고리 모두에서 최소한의 사용자 입력으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Interactive object selection is a very important research problem and has many applications. Previous algorithms require substantial user interactions to estimate the foreground and background distributions. In this paper, we present a novel deep learning based algorithm which has a much better understanding of objectness and thus can reduce user interactions to just a few clicks. Our algorithm transforms user provided positive and negative clicks into two Euclidean distance maps which are then concatenated with the RGB channels of images to compose (image, user interactions) pairs. We generate many of such pairs by combining several random sampling strategies to model user click patterns and use them to fine tune deep Fully Convolutional Networks (FCNs). Finally the output probability maps of our FCN 8s model is integrated with graph cut optimization to refine the boundary segments. Our model is trained on the PASCAL segmentation dataset and evaluated on other datasets with different object classes. Experimental results on both seen and unseen objects clearly demonstrate that our algorithm has a good generalization ability and is superior to all existing interactive object selection approaches.

연구 동기 및 목표

• 이미지 내 정확한 객체 선택을 위해 필요한 사용자 상호작용 수를 줄이기.
• 수동으로 설계된 저수준 특징 대신 심층 특징 학습을 활용하여, 볼 수 없는 객체 카테고리로의 일반화 능력을 향상시키기.
• 사용자가 제공한 클릭을 심층 학습 프레임워크에 효과적으로 통합하여 상호작용 세그멘테이션을 수행하기.
• 고성능 GPU에서 실시간 성능를 유지를 하면서도 높은 세그멘테이션 정확도를 확보하기.

제안 방법

• 사용자가 제공한 양성 및 음성 클릭이 각각 전경 및 배경 신호를 나타내는 별도의 유클리드 거리 맵으로 변환된다.
• 이 거리 맵이 RGB 이미지 채널과 연결되어 (이미지, 사용자 상호작용) 훈련 쌍을 형성한다.
• 다양한 사용자 클릭 패턴을 시뮬레이션하기 위해 무작위 샘플링 전략을 사용하여 대량의 합성 훈련 쌍을 생성한다.
• 이러한 합성된 (이미지, 상호작용) 쌍에 대해 사전 훈련된 FCN-8s 모델을 미세조정하여 객체별 세그멘테이션을 학습한다.
• FCN-8s의 출력 확률 맵이 그래프 컷 최적화를 통해 경계 국소화를 향상시킨다.
• 프레임워크는 PASCAL VOC에서 훈련하고, MS COCO 및 Fashionista 데이터셋에서 평가하여 제로샷 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 합성된 (이미지, 클릭) 쌍으로 훈련된 심층 학습 모델이 최소한의 사용자 상호작용으로 볼 수 없는 객체 카테고리로 일반화할 수 있는가?
• RQ2 사용자 클릭을 거리 맵으로 처리하는 것이 전통적인 저수준 특징 기반 방법에 비해 세그멘테이션 정확도를 얼마나 향상시키는가?
• RQ3 심층 학습 기반 상호작용 세그멘테이션 시스템이 높은 정확도를 유지하면서 필요한 클릭 수를 얼마나 줄일 수 있는가?
• RQ4 FCN 출력과 그래프 컷 최적화를 융합하면 FCN 단독 사용에 비해 경계 정밀도가 향상되는가?

주요 결과

• 제안된 방법은 단 한 개의 양성 클릭만으로 MS COCO의 볼 수 없는 카테고리에서 평균 교차율(mIoU) 48.35%를 달성하여, FCN 및 CRF-RNN을 크게 능가한다.
• PASCAL VOC 데이터셋에서 볼 수 없는 카테고리에서 42.94%의 mIoU를 기록하여 강력한 제로샷 일반화 능력을 입증한다.
• 단 한두 개에서 세 개의 클릭으로도 고품질의 세그멘테이션 결과를 생성하여, 광범위한 사용자 입력이 필요한 기존 방법의 결과와 견줄 만하다.
• 그래프 컷 정밀화가 경계 국소화를 크게 향상시킴을 시각적 비교를 통해 입증하였으며, 정밀화된 출력 결과는 더 선명하고 정확한 객체 윤곽을 보여준다.
• 고성능 GPU에서 실시간 성능를 확보하여 상호작용 응용 프로그램에 실용적으로 활용 가능하다.
• 모델이 전체 객체만 훈련한 것으로도 객체 부분(예: 의류 아이템)을 성공적으로 세그멘테이션하여, 사용자 의도와 객체 의미를 잘 이해하고 있음을 보여준다.