[논문 리뷰] DEEP-CARVING : Discovering Visual Attributes by Carving Deep Neural Nets

Sukrit Shankar, Vikas Garg외 1명|arXiv (Cornell University)|2015. 04. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 35인용 수 17

한 줄 요약

이 논문은 딥 컨volution 신경망(CNN)을 위한 새로운 약한 지도 학습 훈련 절차인 Deep-Carving를 제안한다. 이 방법은 이미지 내에서 다수의 시각적 특징을 효율적으로 탐지할 수 있도록 하며, 특징 맵 반응에서 반복적으로 가짜 레이블을 생성함으로써 네트워크가 공존하는 특징들을 분리시킨다. 이는 SUN Attributes 데이터셋과 새로운 명사-형용사 쌍 데이터셋인 CAMIT-NSAD에서 다중 특징 예측 정확도를 크게 향상시킨다.

ABSTRACT

Most of the approaches for discovering visual attributes in images demand significant supervision, which is cumbersome to obtain. In this paper, we aim to discover visual attributes in a weakly supervised setting that is commonly encountered with contemporary image search engines. For instance, given a noun (say forest) and its associated attributes (say dense, sunlit, autumn), search engines can now generate many valid images for any attribute-noun pair (dense forests, autumn forests, etc). However, images for an attribute-noun pair do not contain any information about other attributes (like which forests in the autumn are dense too). Thus, a weakly supervised scenario occurs: each of the M attributes corresponds to a class such that a training image in class m ∈ {1, . . . , M} contains a single label that indicates the presence of the mᵗʰ attribute only. The task is to discover all the attributes present in a test image. Deep Convolutional Neural Networks (CNNs) [20] have enjoyed remarkable success in vision applications recently. However, in a weakly supervised scenario, widely used CNN training procedures do not learn a robust model for predicting multiple attribute labels simultaneously. The primary reason is that the attributes highly co-occur within the training data, and unlike objects, do not generally exist as well-defined spatial boundaries within the image. To ameliorate this limitation, we propose Deep-Carving, a novel training procedure with CNNs, that helps the net efficiently carve itself for the task of multiple attribute prediction. During training, the responses of the feature maps are exploited in an ingenious way to provide the net with multiple pseudo-labels (for training images) for subsequent iterations. The process is repeated periodically after a fixed number of iterations, and enables the net carve itself iteratively for efficiently disentangling features. Additionally, we contribute a noun-adjective pairing inspired Natural Scenes Attributes Dataset to the research community, CAMIT-NSAD, containing a number of co-occurring attributes within a noun category. We describe, in detail, salient aspects of this dataset. Our experiments on CAMIT-NSAD and the SUN Attributes Dataset [29], with weak supervision, clearly demonstrate that the Deep-Carved CNNs consistently achieve considerable improvement in the precision of attribute prediction over popular baseline methods.

연구 동기 및 목표

• 각 훈련 이미지에 하나의 특징 레이블만 존재하는 약한 지도 설정 하에서 이미지 내에서 다수의 시각적 특징을 탐지하는 문제를 해결한다.
• 공존하는 특징과 공간적 경계의 부재로 인해 강건한 다중 레이블 학습이 어려워지는 표준 CNN 훈련의 한계를 극복한다.
• 내부 특징 반응에서 가짜 레이블을 생성함으로써 CNN이 반복적으로 특징 표현을 개선할 수 있는 자기지도 학습 메커니즘을 개발한다.
• 자연적인 공존 패턴을 더 잘 모델링할 수 있도록 명사-형용사 쌍 특징을 포함한 새로운 데이터셋 CAMIT-NSAD를 기여한다.
• 약한 지도 설정 하에서 강력한 베이스라인에 비해 다중 특징 예측 성능을 일관되게 향상시킨다.

제안 방법

• 최종 합성곱층의 특징 맵 반응을 사용하여 훈련 이미지에 대해 주기적으로 가짜 레이블을 재추정하는 훈련 절차인 Deep-Carving를 제안한다.
• 각 반복 단계에서 네트워크는 상위 활성화 특징 맵 반응을 이용해 단일 지도 레이블 외에도 추가적인 특징 레이블을 추론한다.
• 공간적 활성화 패턴을 기반으로 다중 특징에 확률을 할당하는 소프트 레이블링 메커니즘을 도입하여 단일 레이블 데이터에서 다중 레이블 지도 학습을 가능하게 한다.
• 반복적 정련 적용: 고정된 훈련 에포크 수 후, 네트워크는 가짜 레이블을 재추정하고 업데이트된 지도 학습으로 계속 훈련한다.
• 아키텍처 변경 없이 표준 CNN 아키텍처(예: AlexNet)를 Deep-Carving 절차로 미세조정한다.
• 데이터셋의 구조(명사-형용사 쌍)를 활용하여 특히 초기 합성곱층에서 특징별로 특화된 표현을 학습하도록 유도한다.

실험 결과

연구 질문

• RQ1 이미지당 하나의 특징 레이블만 존재하는 상황에서 CNN이 다수의 시각적 특징을 탐지할 수 있는가?
• RQ2 훈련 중 특징 맵 반응을 어떻게 활용하여 의미 있는 가짜 레이블을 다수의 특징에 대해 생성할 수 있는가?
• RQ3 가짜 레이블의 반복적 정련이 약한 지도 설정 하에서 공존하는 특징들을 얼마나 잘 분리하는가?
• RQ4 제안된 Deep-Carving 방법이 표준 미세조정 및 기존 약한 지도 학습 방법에 비해 다중 특징 예측에서 얼마나 뛰어난 성능을 보이는가?
• RQ5 Deep-Carved 네트워크와 표준 미세조정 모델 간의 특징별 필터와 특징 표현은 어떻게 다른가?

주요 결과

• Deep-Carved CNN는 SUN Attributes 데이터셋과 새로 도입된 CAMIT-NSAD 데이터셋 양쪽에서 인기 있는 기존 베이스라인 방법에 비해 특징 예측 정밀도를 크게 향상시켰다.
• 이 방법은 도메인 스트레스로 인해 성능이 크게 떨어지는 동일한 데이터셋에서 사전 학습된 모델(예: MIT Places205)의 표준 미세조정보다 일관되게 뛰어난 성능을 보였다.
• 첫 번째 레이어 필터의 시각화 결과, Deep-Carved 네트워크는 미세조정 모델이 객체 중심의 에지 유사 필터를 선호하는 데 비해 더 특징별 패턴(예: 색상, 질감)을 학습하는 것으로 나타났다.
• 추상적 또는 매우 공존성이 높은 특징에 대해 가짜 양성률이 증가하여, 제안된 방법으로도 이러한 특징들을 명확히 분리하는 데 어려움이 있음을 시사한다.
• 성능 향상은 특히 훈련 데이터의 명사-형용사 쌍 구조가 네트워크의 자기지도 학습 목표와 잘 맞는 CAMIT-NSAD에서 가장 두드러졌다.
• 결과적으로 특징 맵 반응을 통한 반복적 가짜 레이블링이 효과적인 자기지도 학습을 가능하게 하여, 명시적 다중 레이블 지도 학습 없이도 다수의 특징을 위한 전용 특징 검출기를 네트워크가 형성할 수 있음을 보여주었다.