[논문 리뷰] Exploit Bounding Box Annotations for Multi-label Object Recognition

Hao Yang, Joey Tianyi Zhou외 4명|arXiv (Cornell University)|2015. 04. 22.

Advanced Image and Video Retrieval Techniques참고 문헌 26인용 수 5

한 줄 요약

이 논문은 CNN 특징과 정답 바운딩 박스 애너테이션을 활용하여 근접한 이웃 관계를 통해 레이블 뷰를 생성함으로써 다중 레이블 객체 인식을 향상시키는 다중 시각 다중 인스턴스 학습 프레임워크를 제안한다. 이 레이블 뷰를 표준 CNN 특징과 융합하고 피셔 벡터 인코딩을 사용함으로써, PASCAL VOC 2007에서 92.0%의 최고 성능 mAP을 달성하였으며, VOC 2012에서는 90.1%를 기록하였다. 이는 20개 카테고리 중 10개에서만 부분적인 강한 레이블을 사용한 경우에도 성능을 달성한 것이다.

ABSTRACT

Convolutional neural networks (CNNs) have shown great performance as general feature representations for object recognition applications. However, for multi-label images that contain multiple objects from different categories, scales and locations, global CNN features are not optimal. In this paper, we incorporate local information to enhance the feature discriminative power. In particular, we first extract object proposals from each image. With each image treated as a bag and object proposals extracted from it treated as instances, we transform the multi-label recognition problem into a multi-class multi-instance learning problem. Then, in addition to extracting the typical CNN feature representation from each proposal, we propose to make use of ground-truth bounding box annotations (strong labels) to add another level of local information by using nearest-neighbor relationships of local regions to form a multi-view pipeline. The proposed multi-view multi-instance framework utilizes both weak and strong labels effectively, and more importantly it has the generalization ability to even boost the performance of unseen categories by partial strong labels from other categories. Our framework is extensively compared with state-of-the-art hand-crafted feature based methods and CNN based methods on two multi-label benchmark datasets. The experimental results validate the discriminative power and the generalization ability of the proposed framework. With strong labels, our framework is able to achieve state-of-the-art results in both datasets.

연구 동기 및 목표

• 다중 객체, 다양한 크기, 가림 현상이 있는 다중 레이블 이미지에서 전역 CNN 특징의 한계를 해결한다.
• 정답 바운딩 박스로부터의 강한 감독과 함께 객체 제안을 통해 국소 정보를 통합하여 특징의 구분 능력을 향상시킨다.
• 기타 카테고리에서의 부분적인 강한 레이블을 활용하여 미리 보지 않은 카테고리로의 일반화를 가능하게 한다.
• 약한 감독(이미지 수준의 레이블)과 강한 감독(바운딩 박스 애너테이션)을 효과적으로 융합하는 다중 인스턴스 학습 프레임워크를 개발한다.
• 완전한 카테고리 수준의 바운딩 박스 애너테이션이 필요 없이 기준 다중 레이블 데이터셋에서 최고 성능을 달성한다.

제안 방법

• 각 이미지를 백으로, 객체 제안을 인스턴스로 간주하여 다중 클래스 다중 인스턴스 학습 문제로 다중 레이블 인식을 변환한다.
• 각 제안에 대해 두 가지 유형의 특징을 추출한다: 표준 CNN 특징(특징 뷰)과 정답 바운딩 박스에 대한 k-최근접 이웃 관계를 기반으로 한 레이블 뷰.
• 레이블 근접도 정보를 인코딩하는 구분 능력 있는 국소 표현을 학습하기 위해 대간격 최근접 이웃(LMNN) CNN을 사용한다.
• 피셔 벡터 인코딩을 통해 특징 뷰와 레이블 뷰를 융합하여 통합적인 이미지 수준의 표현을 생성한다.
• 약한 감독으로 이미지 수준의 레이블을, 강한 감독으로 정답 바운딩 박스를 사용하여 엔드 투 엔드로 모델을 훈련시켜 국소 특징 학습을 이끈다.
• 기본 8층 CNN을 16층의 매우 깊은 CNN으로 교체하여 확장성과 성능 향상을 평가하고, 사전 학습된 모델과 점수 융합을 통해 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 정답 바운딩 박스 애너테이션을 강한 레이블로 활용하면 다중 레이블 객체 인식에서 특징 표현이 향상되는가?
• RQ2 특징 뷰와 레이블 뷰를 융합한 다중 뷰 프레임워크가 구분 능력 향상과 새로운 카테고리로의 일반화를 향상시키는가?
• RQ3 일부 카테고리에서의 부분적인 강한 레이블이 나머지 카테고리, 즉 미리 보지 않은 카테고리의 인식 성능 향상에 기여하는가?
• RQ4 제안된 다중 인스턴스 학습 프레임워크는 표준 벤치마크에서 최고 성능을 내는 수작업 및 CNN 기반 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 백 기반 다중 인스턴스 학습 환경에서, 피셔 벡터 인코딩이 최대 풀링보다 인스턴스 수준 특징을 집계하는 데에서 얼마나 더 뛰어난가?

주요 결과

• 제안된 프레임워크는 PASCAL VOC 2007에서 최고 성능인 92.0%의 mAP를 달성하였으며, 기존 최고 성능 방법보다 약 1% 높은 성능을 기록하였다.
• 20개 카테고리 중 10개에서만 정답 바운딩 박스를 사용한 경우에도 기준 모델 대비 mAP가 1.3% 향상되어, 훈련에 사용되지 않은 카테고리로의 강력한 일반화 능력을 입증하였다.
• 레이블 뷰는 기여가 크다: 모든 20개 카테고리가 사용될 경우 특징 뷰에 레이블 뷰를 추가하면 mAP가 2.5% 향상된다.
• 8층 CNN을 16층의 매우 깊은 CNN으로 교체하면 'VeryDeep' 모델과 유사한 성능을 달성하며, 두 모델의 융합은 새로운 최고 성능인 92.0%의 mAP를 기록하였다.
• VOC 2012에서 제안된 프레임워크는 수작업 기반 최고 성능 방법(NUS-PSL)보다 1.8% 높고, 제안 기반 CNN 방법(HCP-1000C)보다 2.3% 높은 성능을 기록하였다.
• 정답 바운딩 박스에 대한 근접 이웃 관계를 기반으로 한 레이블 뷰는 잘 일반화되며, 훈련에 사용되지 않은 카테고리의 성능 향상에 기여하여 효과적인 국소 유사도 학습이 이루어졌음을 시사한다.