[논문 리뷰] Learning Spatial Regularization with Image-level Supervisions for Multi-label Image Classification

Feng Zhu, Hongsheng Li외 3명|arXiv (Cornell University)|2017. 02. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 55

한 줄 요약

본 논문은 이미지 수준의 감독으로 레이블 주의 맵을 학습하고 이를 이용해 레이블 간의 의미적 및 공간적 관계를 포착하는 Spatial Regularization Network(SRN)를 제안하며, 이를 통해 다양한 데이터셋에서 다중 레이블 이미지 분류 성능을 향상시킨다.

ABSTRACT

Multi-label image classification is a fundamental but challenging task in computer vision. Great progress has been achieved by exploiting semantic relations between labels in recent years. However, conventional approaches are unable to model the underlying spatial relations between labels in multi-label images, because spatial annotations of the labels are generally not provided. In this paper, we propose a unified deep neural network that exploits both semantic and spatial relations between labels with only image-level supervisions. Given a multi-label image, our proposed Spatial Regularization Network (SRN) generates attention maps for all labels and captures the underlying relations between them via learnable convolutions. By aggregating the regularized classification results with original results by a ResNet-101 network, the classification performance can be consistently improved. The whole deep neural network is trained end-to-end with only image-level annotations, thus requires no additional efforts on image annotations. Extensive evaluations on 3 public datasets with different types of labels show that our approach significantly outperforms state-of-the-arts and has strong generalization capability. Analysis of the learned SRN model demonstrates that it can effectively capture both semantic and spatial relations of labels for improving classification performance.

연구 동기 및 목표

• 추가 주석 없이 레이블 간의 공간적 관계를 모델링하여 다중 레이블 이미지 분류 성능을 개선하려는 동기를 제시한다.
• 이미지 수준의 감독으로 레이블 주의 맵을 학습하는 엔드-투-엔드 CNN 프레임워크를 개발한다.
• 의미적이고 공간적인 레이블 관계를 통합하여 최종 분류 결과를 규제한다.
• 다양한 레이블 유형(사물, 개념, 속성)을 갖는 데이터셋에 걸친 일반화를 보여준다.

제안 방법

• 레이블별 예측을 위한 주 네트워크로 ResNet-101 기반의 분류기를 채택한다.
• 두 단계로 구성된 Spatial Regularization Net(SRN)을 도입한다: 주의 맵 학습과 공간 규제.
• 이미지 수준의 감독을 사용하여 f_att(X; θ_att)로 레이블 주의 맵을 학습하고, 이는 R^{14×14×C}의 A를 생성한다.
• 가시성 및 로컬화를 모두 반영하기 위해 U = σ(S) ∘ A로 가중 주의점을 계산한다.
• 매개변수를 제한하기 위해 컴팩트하고 분리된 1×1 및 14×14 컨볼루션을 이용해 f_sr(U; θ_sr)로 레이블 관계를 포착한다.
• 최종 신뢰도는 ŷ = α ŷ_cls + (1−α) ŷ_sr로 집계하고 교차 엔트로피 손실로 엔드-투-엔드로 학습한다.

실험 결과

연구 질문

• RQ1 다중 레이블 이미지에서 공간 규제를 위한 의미 있는 레이블 주의 맵을 학습하기에 이미지 수준의 감독만으로 충분한가?
• RQ2 SRN을 통해 학습된 레이블 간의 의미적 및 공간적 관계가 전체 다중 레이블 분류 성능을 향상시키는가?
• RQ3 다양한 레이블 유형(사물, 개념, 속성)을 가진 데이터셋에 대해 SRN의 일반화 성능은 어느 정도인가?
• RQ4 가중 주의 맵(U)과 비가중 맵(A)의 성능 차이가 성능에 어떤 영향을 미치는가?

주요 결과

• SRN은 NUS-WIDE, MS-COCO, WIDER-Attribute 데이터셋에서 강력한 기준선 및 최첨단 성능보다 일관되게 향상시킨다.
• 가중 주의 맵(U)이 공간 규화를 학습하는 데 비가중 맵(A)보다 우수하다.
• SRN을 이용한 엔드-투-엔드 학습은 약 600만 개의 매개변수를 추가하고 데이터셋 전반에서 mAP와 F1 점수에 현저한 향상을 가져온다.
• 이 방법은 개별 레이블 로컬라이제이션 신호와 레이블 간 공발현/상대 위치 패턴을 모두 포착한다.
• 시각화 결과 SRN의 뉴런들이 레이블 위치와 여러 레이블의 특정 공간 구성에 반응하는 것을 보여준다.