[논문 리뷰] Deep Descriptor Transforming for Image Co-Localization

Xiu-Shen Wei, Chen-Lin Zhang외 5명|arXiv (Cornell University)|2017. 05. 08.

Advanced Neural Network Applications참고 문헌 27인용 수 14

한 줄 요약

이 논문은 사전 훈련된 CNN 특징을 활용하여 이미지 간 상호관계를 모델링함으로써 이미지 세트 간 공통 객체를 검출하는 새로운 비지도 학습 방법인 딥 디스크립터 트랜스포밍(DDT)을 제안한다. DDT는 이미지 공현지역화 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며 이전 방법들보다 뚜렷하게 뛰어나며, 노이즈가 있는 이미지에 대해 강력한 내성과 이미넷에 포함되지 않은 새로운 카테고리로의 일반화 능력도 입증한다.

ABSTRACT

Reusable model design becomes desirable with the rapid expansion of machine learning applications. In this paper, we focus on the reusability of pre-trained deep convolutional models. Specifically, different from treating pre-trained models as feature extractors, we reveal more treasures beneath convolutional layers, i.e., the convolutional activations could act as a detector for the common object in the image co-localization problem. We propose a simple but effective method, named Deep Descriptor Transforming (DDT), for evaluating the correlations of descriptors and then obtaining the category-consistent regions, which can accurately locate the common object in a set of images. Empirical studies validate the effectiveness of the proposed DDT method. On benchmark image co-localization datasets, DDT consistently outperforms existing state-of-the-art methods by a large margin. Moreover, DDT also demonstrates good generalization ability for unseen categories and robustness for dealing with noisy data.

연구 동기 및 목표

• 사전 훈련된 깊이 신경망의 재사용 가능성을 기능 추출을 넘어서 탐색하고 활용하는 것, 특히 비지도 객체 지역화에 응용하는 것.
• 레이블이 전혀 없는 이미지 세트에서 공통 객체를 지역화하는 이미지 공현지역화 문제를 해결하기 위해, 컨volutional 활성화를 탐지기로 활용하는 것.
• 이미넷에 포함되지 않은 카테고리에 대해 잘 일반화되며 노이즈가 있는 이미지에 강건한 방법을 개발하는 것.
• 감독 없이도 이미지 간 디스크립터 상관관계를 효과적으로 모델링하여 카테고리 일관성 있는 영역을 식별할 수 있음을 보여주는 것.

제안 방법

• 이미지 세트 내 각 이미지에서 사전 훈련된 CNN(예: VGG-16)의 최종 컨볼루션 레이어에서 깊이 컨볼루션 디스크립터를 추출한다.
• 이미지 세트 전반의 디스크립터를 연결하여 강건한 주성분 분석(RPCA)을 적용하여, 공통 객체 패턴을 나타내는 저랭크 성분과 노이즈 또는 이방성 요소를 나타내는 희소 성분으로 분해한다.
• 저랭크 행렬의 첫 번째 주성분(P¹)을 사용하여 공통 객체를 지역화하는 지표 맵으로 활용하며, 높은 값은 객체 영역을 의미한다.
• P¹ 내 양성 값의 수를 검출 점수로 간주한다: 양성 값이 적을수록 공통 객체가 없는 노이즈가 많은 이미지일 가능성이 높다.
• PCA를 통해 디스크립터를 새로운 공간으로 변환하여 이미지 간 디스크립터 상관관계를 평가하고 향상시킨다.
• 저랭크 성분의 구조를 활용하여 공통 객체를 포함하지 않는 이미지를 식별하고 제거한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 모델의 컨볼루션 활성화가 감독 없이 이미지 공현지역화에서 공통 객체 탐지기로 효과적으로 기능할 수 있는가?
• RQ2 DDT는 이미넷 사전 훈련 기간 동안 등장하지 않은 객체 카테고리로 얼마나 잘 일반화되는가?
• RQ3 DDT는 공통 객체를 포함하지 않는 노이즈가 많은 이미지를 얼마나 잘 탐지하고 거부할 수 있는가?
• RQ4 이미지 간 디스크립터의 상관관계 구조를 효과적으로 모델링하여 감독 없이 공통 객체를 지역화할 수 있는가?
• RQ5 기존 PCA나 다른 기준 대비 강건한 주성분 분석(RPCA)을 사용함으로써 정밀도와 노이즈에 대한 내성성이 향상되는가?

주요 결과

• DDT는 ImageNet 서브셋 데이터셋에서 평균 CorLoc가 69.1%를 기록하여 이전 최신 기술 수준(SOTA) 방법(Li 등, 2016)의 48.3%보다 뚜렷하게 뛰어나다.
• 객체 탐지 데이터셋에서 노이즈 없이 DDT는 CorLoc가 68.2%를 기록하였으며, 이는 Image-Box 방법(Tang 등, 2014)보다 약 12% 높다.
• DDT는 노이즈가 있는 이미지에 대해 강력한 내성성을 보이며, Object Discovery 데이터셋에서 검증된 결과, ROC AUC 점수도 Image-Box 방법보다 뚜렷이 높다.
• 정성적 결과에서는 사람 같은 다른 객체가 존재하는 이미지에서도 DDT가 공통 객체(예: 래프, 휠체어)를 성공적으로 지역화함을 보여준다.
• 두 번째 주성분(P²)은 개 이미지에서 머리와 몸통을 분리하는 등 부분 수준의 구조를 드러내어 향후 부분 기반 공현지역화에 잠재적 응용 가능성을 시사한다.
• 이미넷 원본 클래스에 포함되지 않은 카테고리인 '래프'와 '휠체어' 등에서도 높은 성능을 기록함으로써 DDT가 새로운 카테고리로 잘 일반화됨을 입증한다.