[논문 리뷰] Window-Object Relationship Guided Representation Learning for Generic Object Detections

Xingyu Zeng, Wanli Ouyang외 1명|arXiv (Cornell University)|2015. 12. 09.

Advanced Neural Network Applications참고 문헌 24인용 수 7

한 줄 요약

이 논문은 일반적인 객체 검출을 위한 표현 학습 프레임워크를 제안하며, 상대적 위치, 척도, 인접 객체와 같은 창-객체 관계를 지도 신호로 활용하여 특징 학습을 향상시킨다. 이러한 관계를 기반으로 후보 창을 군집화하고, 다중 척도, 다중 회전된 문맥 영역을 활용해 학습함으로써, ILSVRC2014에서 mAP를 6.4% 향상시켰으며, ILSVRC2014 테스트 세트에서는 48.6% mAP를 달성하여 이전 최고 성능 모델을 초월한다.

ABSTRACT

In existing works that learn representation for object detection, the relationship between a candidate window and the ground truth bounding box of an object is simplified by thresholding their overlap. This paper shows information loss in this simplification and picks up the relative location/size information discarded by thresholding. We propose a representation learning pipeline to use the relationship as supervision for improving the learned representation in object detection. Such relationship is not limited to object of the target category, but also includes surrounding objects of other categories. We show that image regions with multiple contexts and multiple rotations are effective in capturing such relationship during the representation learning process and in handling the semantic and visual variation caused by different window-object configurations. Experimental results show that the representation learned by our approach can improve the object detection accuracy by 6.4% in mean average precision (mAP) on ILSVRC2014. On the challenging ILSVRC2014 test dataset, 48.6% mAP is achieved by our single model and it is the best among published results. On PASCAL VOC, it outperforms the state-of-the-art result of Fast RCNN by 3.3% in absolute mAP.

연구 동기 및 목표

• 기존 객체 검출 방법이 IOU 임계값을 통해 창-객체 관계를 단순화함으로써 공간적 및 척도적 맥락을 상실하는 한계를 해결하기 위해.
• 상대적 위치, 척도, 둘러싼 객체와 같은 세분화된 창-객체 관계를 지도 신호에 통합하여 표현 학습을 향상시키기 위해.
• 군집화와 다중 척도, 다중 회전 데이터 증강을 통해 맥락 관계를 모델링하면 특징의 구분 능력과 검출 정확도가 향상됨을 입증하기 위해.

제안 방법

• 이 방법은 창-객체 관계를 지도로 사용하는 표현 학습 파이프라인을 도입하며, 각 후보 창은 진짜 객체에 대한 상대적 위치와 척도에 따라 하위 클래스로 할당된다.
• 유사한 창-객체 관계를 가진 후보 창들을 군집화하여, 각 군집 내에서 네트워크가 더 일관되고 분리된 특징을 학습할 수 있도록 한다.
• 각 군집에 대해 전용 회귀기 모델이 상대적 이동 및 척도 변화를 예측함으로써 정렬 정확도와 표현 품질을 향상시킨다.
• 다중 척도 및 다중 회전 데이터 증강을 통합하여, 각 후보 창이 여러 설정에서 자르고 돌려져 다양한 맥락 구성 요소를 포착하도록 한다.
• 네트워크는 각 군집 내에서 군집 레이블과 상대적 바운딩 박스 회귀를 동시에 예측하도록 훈련되며, 이중 스트림 목적 함수를 사용한다.
• 이 방법은 다른 카테고리의 인접 객체와의 관계를 모델링하여, 이미지 영역 자체에서의 맥락 지도 신호를 더욱 풍부하게 한다.

실험 결과

연구 질문

• RQ1 간단한 IOU 임계값 설정을 넘어서 세부적인 창-객체 관계를 통합하면 객체 검출을 위한 표현 학습이 향상되는가?
• RQ2 상대적 위치와 척도 기반으로 후보 창을 군집화하면 균일한 분류보다 더 구분 능력 있는 특징 학습이 이루어지는가?
• RQ3 다중 척도 및 다중 회전 데이터 증강이 모델이 객체 검출에서 맥락 관계를 포착하는 데 얼마나 기여하는가?
• RQ4 다른 카테고리의 주변 객체와의 관계를 모델링하면 특징 표현이 더욱 향상되는가?
• RQ5 기준 데이터셋에서 Fast R-CNN 및 GoogleNet과 같은 최고 수준의 접근 방식과 비교해 본다면, 제안된 방법은 어떻게 성능을 내는가?

주요 결과

• 기본 모델 대비 ILSVRC2014 검증 세트에서 평균 평균 정확도(mAP)가 6.4% 향상되었다.
• ILSVRC2014 테스트 세트에서 단일 모델 결과로 48.6% mAP를 달성하여, 연구 당시 발표된 최고 성능 기록이다.
• PASCAL VOC 2007에서 VOC07 및 VOC12 trainval 세트를 모두 사용해 훈련한 경우, Fast R-CNN 대비 절대 mAP에서 3.3% 향상되었다.
• 창-객체 관계 군집화를 적용함으로써 Fast R-CNN 기준 mAP가 1.2% 향상되어, 구조화된 지도 신호의 효과를 입증하였다.
• 각 척도에 대해 별도의 네트워크 파rameter를 사용하는 다중 척도 특징 학습은 공유 파rameter 대비 3.4% mAP 향상으로 이어졌으며, 척도별 표현 학습의 유용성을 보여주었다.
• 회전 증강을 통합함으로써 단일 척도 훈련에서는 mAP가 2.0% 향상되었고, 다중 척도 훈련에서는 0.3% 향상되어, 공간 불변성을 포착하는 데서의 회전 증강의 가치를 확인하였다.