[논문 리뷰] Do More Dropouts in Pool5 Feature Maps for Better Object Detection

Zhiqiang Shen, Xiangyang Xue|arXiv (Cornell University)|2014. 09. 24.

Advanced Neural Network Applications참고 문헌 29인용 수 7

한 줄 요약

이 논문은 컨volution 신경망의 pool5 레이어에서 정보가 없는 특징 맵을 선택적으로 제거하기 위해 최대 엔트로피 원리를 적용하는 새로운 특징 편집 방법을 제안한다. 이는 특징의 분류 가능성을 향상시켜 객체 검출 성능을 햖थ한다. 불필요하거나 혼동스러운 개념(예: 질감, 재료)에 해당하는 채널을 제거함으로써 일반화 성능을 향상시키며, 최소한의 계산 비용으로도 PASCAL VOC 2007에서 60.1%의 최신 기준 mAP를 달성한다.

ABSTRACT

Deep Convolutional Neural Networks (CNNs) have gained great success in image classification and object detection. In these fields, the outputs of all layers of CNNs are usually considered as a high dimensional feature vector extracted from an input image and the correspondence between finer level feature vectors and concepts that the input image contains is all-important. However, fewer studies focus on this deserving issue. On considering the correspondence, we propose a novel approach which generates an edited version for each original CNN feature vector by applying the maximum entropy principle to abandon particular vectors. These selected vectors correspond to the unfriendly concepts in each image category. The classifier trained from merged feature sets can significantly improve model generalization of individual categories when training data is limited. The experimental results for classification-based object detection on canonical datasets including VOC 2007 (60.1%), 2010 (56.4%) and 2012 (56.3%) show obvious improvement in mean average precision (mAP) with simple linear support vector machines.

연구 동기 및 목표

• 객체 검출에서 세밀한 CNN 특징과 객체 개념 간의 부일치 문제를 해결한다.
• 학습 데이터가 제한된 조건에서 분류에 도움이 되지 않거나 오해의 소지가 있는 특징 유닛을 제거함으로써 모델의 일반화 능력을 향상시킨다.
• 데이터 증강이나 모델 재학습 없이도 특징 표현을 향상시킬 수 있는 저복잡도 방법을 개발한다.
• pool5에서 특정 개념적으로 관련 없는 특징을 제거함으로써 표준 벤치마크에서 검출 성능이 향상됨을 입증한다.

제안 방법

• 최대 엔트로피 원리를 적용하여 pool5 레이어(6×6×256)의 정보가 없는 또는 혼동스러운 개념(예: 반사광, 점 배열)에 해당하는 특징 채널을 식별하고 제거한다.
• 학습 샘플 전역에서 각 특징 채널의 활성화 확률 분포를 계산하여 해당 채널이 객체 카테고리에 얼마나 관련이 있는지 추정한다.
• 엔트로피가 가장 낮은(즉, 정보가 적거나 클래스 간 일관성이 없는) 채널을 제거하여 편집된 특징 세트를 생성한다.
• 원본 및 편집된 특징의 병합 세트를 기반으로 선형 SVM 분류기를 훈련시켜 분류 성능 및 일반화 능력을 향상시킨다.
• 시각화 기법을 사용하여 어떤 특징 채널이 제거되었는지 분석하고, 그들이 목표 객체 카테고리와 관련이 없음을 확인한다.
• 데이터 증강 기법(예: 이미지 기울이기)과 비교하여 특징 수준의 편집이 데이터 수준의 조작보다 우월함을 검증한다.

실험 결과

연구 질문

• RQ1 CNN의 pool5 레이어에서 정보가 없는 특징 채널을 선택적으로 제거하면 객체 검출 성능이 향상되는가?
• RQ2 pool5에서 분류에 가장 해로운 영향을 미치는 특징 유형(예: 질감, 재료, 형태)은 무엇이며, 안전하게 제거할 수 있는가?
• RQ3 엔트로피 기반 특징 편집이 이미지 기울이기와 같은 데이터 증강 기법보다 검출 mAP 향상에 더 효과적인가?
• RQ4 편집된 특징에 기반한 단순한 선형 SVM가 모델 재학습 없이도 PASCAL VOC 벤치마크에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 제안된 특징 편집 방법은 PASCAL VOC 2007 테스트 세트에서 평균 평균 정확도(mAP) 60.1%를 달성하여 이전에 발표된 결과를 초월한다.
• VOC 2010과 VOC 2012에서 각각 mAP 56.4%와 56.3%를 기록하여, 동일한 데이터셋에서 기준 R-CNN(53.7% 및 53.3%)보다 뛰어난 성능을 보였다.
• 소형 및 중형 객체보다는 큰 객체(예: 소, 개)의 검출 성능이 크게 향상되어 정밀도가 증가하고 오류 양성률이 감소하였다.
• 시각화 결과는 제거된 특징 채널이 객체 특징이 아닌 혼란스러운 질감이나 배경 유사 패턴과 관련이 있음을 확인하였다.
• 이미지 기울이기와 같은 데이터 증강 전략은 성능을 저하시키는 것으로 나타나, 특징 수준의 편집이 무작위 이미지 변형보다 더 효과적임을 시사한다.
• 원본 특징과 편집된 특징의 병합 세트는 편집된 특징만을 사용할 경우보다 더 우수한 일반화 성능을 보였으며, 상호보완적인 표현의 조합이 유의미함을 확인하였다.