[논문 리뷰] SAN: Learning Relationship between Convolutional Features for Multi-Scale Object Detection

Yonghyun Kim, Bong-Nam Kang외 1명|arXiv (Cornell University)|2018. 08. 15.

Advanced Neural Network Applications참고 문헌 32인용 수 5

한 줄 요약

이 논문은 공간 정보에 의존하지 않고 다양한 스케일 간의 컨volutional 특징 채널 간의 관계를 모델링하여 척도 불변 표현을 학습하는 새로운 모듈인 스케일 인식 네트워크(SAN)를 제안한다. 채널 라우팅 메커니즘과 고유한 학습 전략을 통해 다양한 스케일 간의 특징 분포 차이를 줄여, 추론 비용을 최소화하면서 VOC PASCAL에서 1.2 mAP, MS COCO에서 2.1 mAP 향상시키며 정확도를 향상시킨다.

ABSTRACT

Most of the recent successful methods in accurate object detection build on the convolutional neural networks (CNN). However, due to the lack of scale normalization in CNN-based detection methods, the activated channels in the feature space can be completely different according to a scale and this difference makes it hard for the classifier to learn samples. We propose a Scale Aware Network (SAN) that maps the convolutional features from the different scales onto a scale-invariant subspace to make CNN-based detection methods more robust to the scale variation, and also construct a unique learning method which considers purely the relationship between channels without the spatial information for the efficient learning of SAN. To show the validity of our method, we visualize how convolutional features change according to the scale through a channel activation matrix and experimentally show that SAN reduces the feature differences in the scale space. We evaluate our method on VOC PASCAL and MS COCO dataset. We demonstrate SAN by conducting several experiments on structures and parameters. The proposed SAN can be generally applied to many CNN-based detection methods to enhance the detection accuracy with a slight increase in the computing time.

연구 동기 및 목표

• CNN 기반 객체 검출기에서 다양한 스케일 간의 특징이 큰 분포 차이를 보이는 척도 변동성 문제를 해결하기 위해.
• 컨volutional 특징의 척도 불변 표현을 학습하여 다양한 스케일 간의 특징 불일치를 줄이기 위해.
• 공간 정보에 종속되지 않고 채널 간 관계를 모델링하는 방법을 설계하여 효율적이고 강력한 특징 학습을 가능하게 하기 위해.
• 백본 또는 검출기 아키텍처를 수정하지 않고 다양한 스케일 범위에서 검출 정확도를 향상시키기 위해.
• R-FCN 및 변형 가능 R-FCN와 같은 기존 검출기들에 SAN을 적용하여 일반화 능력을 입증하기 위해.

제안 방법

• SAN은 채널 수준의 관계에만 기반하는 학습 가능한 하위 네트워크를 사용하여 다양한 입력 스케일의 특징을 공유되는 척도 불변 부분공간으로 매핑한다.
• 특징 활성화가 스케일 간 어떻게 변화하는지 시각화하고 분석하기 위해 채널 활성화 행렬을 활용하여 아키텍처 설계를 이끌어낸다.
• 공간적 맥락을 생략하고 채널 간 상호관계에 집중하는 고유한 학습 메커니즘을 도입하여 효율성과 일반화 능력을 향상시킨다.
• 스케일 인식 채널 상호작용에 기반해 동적으로 특징 변환을 조정하는 라우팅 메커니즘을 사용한다.
• 미니배치 전략을 사용하며, 스케일 정규화된 기준 특징을 활용하고, 글로벌 평균 풀링을 통해 채널 수준의 영향을 분리한다.
• 하위 네트워크는 서로 다른 스케일의 특징과 기준 스케일 간의 루트 평균 제곱 오차(RMSE)를 최소화하도록 훈련되어 일관성을 증진시킨다.

실험 결과

연구 질문

• RQ1 컨volutional 특징 활성화는 다양한 입력 스케일에서 어떻게 변화하는가? 이로 인한 스케일 유도 분포 이동의 성격은 무엇인가?
• RQ2 공간 맥락 없이 채널 간 관계만 모델링하는 것이 척도 관련 특징 불일치를 효과적으로 줄일 수 있는가?
• RQ3 척도 불변 특징 표현은 VOC PASCAL 및 MS COCO와 같은 다중 스케일 데이터셋에서 검출 정확도 향상에 어느 정도 기여하는가?
• RQ4 제안된 SAN 모듈은 R-FCN 및 변형 가능 R-FCN와 같은 다양한 검출기 아키텍처에 얼마나 잘 일반화되는가?
• RQ5 최적의 성능과 효율성을 확보하기 위해 풀링 전략과 미니배치 크기 측면에서 SAN 모듈의 최적 구성은 무엇인가?

주요 결과

• SAN은 서로 다른 스케일의 특징과 기준 스케일 간의 루트 평균 제곱 오차(RMSE)를 감소시켜 스케일 유도 특징 변동을 효과적으로 억제함을 입증한다.
• PASCAL VOC 2007 테스트 세트에서 R-FCN에 SAN을 적용한 결과, 기준 R-FCN(79.37% mAP) 대비 1.2% 향상된 80.57% mAP를 달성한다.
• MS COCO에서 변형 가능 R-FCN에 SAN을 적용한 결과, 기준 변형 가능 R-FCN 대비 2.1% 향상된 39.7%의 COCO 스타일 mAP를 기록한다.
• SAN의 평균 풀링 변형이 최대 풀링보다 우수하여, VOC PASCAL에서 각각 80.57% mAP와 80.35% mAP를 기록한다.
• SAN을 훈련하기 위한 최적의 미니배치 크기는 파artition당 16개 샘플로, 정확도와 계산 비용을 균형 있게 조절한다.
• 채널 활성화 행렬을 통한 시각화 결과, SAN이 모든 21개의 VOC 클래스에 걸쳐 스케일 간 특징 차이를 효과적으로 감소시킴을 확인할 수 있다.