[논문 리뷰] Attention-based Joint Detection of Object and Semantic Part

Keval Morabia, Jatin Arora외 1명|arXiv (Cornell University)|2020. 07. 05.

Advanced Neural Network Applications참고 문헌 7인용 수 10

한 줄 요약

이 논문은 공유된 시각적 특징을 사용하여 객체 및 의미적 부분 검출을 동시에 수행하기 위해 주목사용 기반 특징 융합 방법을 제안한다. 두 개의 Faster R-CNN 모델을 활용하여 관련된 객체-부분 쌍에 대해 주목사용 점수를 적용하여 특징을 가중 평균화함으로써, PASCAL-Part 2010에서 부분 검출 mAP를 최대 83.3% 향상시키며, 객체 검출 성능에도 약간의 향상이 이루어져, 다중 작업 시각 인식에서 맥락적 주목사용의 효과를 입증한다.

ABSTRACT

In this paper, we address the problem of joint detection of objects like dog and its semantic parts like face, leg, etc. Our model is created on top of two Faster-RCNN models that share their features to perform a novel Attention-based feature fusion of related Object and Part features to get enhanced representations of both. These representations are used for final classification and bounding box regression separately for both models. Our experiments on the PASCAL-Part 2010 dataset show that joint detection can simultaneously improve both object detection and part detection in terms of mean Average Precision (mAP) at IoU=0.5.

연구 동기 및 목표

• 공유된 시각적 특징을 사용하여 객체와 그 의미적 부분을 동시에 검출하는 과제를 해결한다.
• 객체와 부분 간의 맥락적 관계를 모델링하여 검출 성능을 향상시킨다.
• 이전 방법들이 LSTMs나 단순한 특징 평균화에 의존하는 한계를 극복한다.
• 자기 주목사용 기반 메커니즘을 활용하여 특징 융합 과정에서 관련된 부분이나 객체를 동적으로 가중치를 적용한다.
• 주목사용 기반 융합이 단순 평균화보다 연역 검출 작업에서 더 높은 성능을 낸다는 것을 입증한다.

제안 방법

• 객체 및 부분 검출을 위해 공유된 ResNet-50 백본과 특징 피라미드 네트워크를 사용하는 두 개의 Faster R-CNN 모델을 활용한다.
• 객체 및 부분에 대해 별도의 RPN이 생성한 영역 제안을 바탕으로, 다중 스케일 RoI Align과 FPN을 사용해 고정 크기의 특징을 추출한다.
• 융합 임계값을 사용해 관련된 객체-부분 쌍을 정의한다: 객체와 부분의 겹침 영역 ≥ 융합임계값 × 부분 영역 면적.
• 각 관련 객체-부분 쌍에 대해 주목사용 점수를 계산하여 특징의 가중 평균을 계산하는 주목사용 레이어를 구현한다.
• 융합된 특징을 원본 특징과 연결하여, 객체 헤드 및 부분 헤드에서 최종 분류 및 바운딩 박스 회귀를 수행한다.
• MS COCO에서의 전이 학습을 사용하여 모델을 훈련시키며, 무작위 수평 반전을 통한 데이터 증강을 적용한다.

실험 결과

연구 질문

• RQ1 주목사용 기반 특징 융합은 별도의 검출 모델보다 객체 및 의미적 부분 검출 성능을 향상시킬 수 있는가?
• RQ2 객체와 부분 간 관계를 모델링할 때 주목사용 메커니즘은 단순 평균 풀링보다 어떻게 성능이 뛰어나게 되는가?
• RQ3 공유된 특징을 사용한 공동 훈련이 PASCAL-Part 2010 데이터셋에서 부분 검출 mAP에 얼마나 기여하는가?
• RQ4 모델이 훈련 데이터에 사람 부분이 포함되어 있을 때, 동물의 부분도 탐지할 수 있는가?
• RQ5 부분 검출에 대한 NMS 임계값 설정에 따라 성능은 얼마나 민감하게 변하는가?

주요 결과

• 공동 검출 모델은 IoU=0.5에서 얼굴 클래스의 부분 검출 mAP를 최대 83.3% 향상시켜 단일 모델보다 뚜렷한 성능 향상을 보였다.
• 가슴 부분 클래스의 경우, 부분 검출 mAP는 단일 모델의 30.6%에서 공동 모델의 80.3%로 상승하여 뚜렷한 성능 향상을 확인했다.
• 객체 검출 mAP는 날개 클래스에서 25.9%에서 29.3%로 약간 상승하여, 소량이지만 일관된 향상이 이루어졌다.
• 모델는 사람 부분(예: 다리, 가슴)을 훈련 데이터에 동물 클래스만 포함되어 있어도 탐지할 수 있었으며, 이는 공유된 부분 외관으로 인한 클래스 혼동을 시사한다.
• 부분 검출에 대한 NMS 임계값을 다양하게 조정해도 IoU=0.5에서 mAP가 52.1%를 초과하지 않아, 성능 포화 또는 중복 탐지에 대한 과적합이 발생했음을 시사한다.
• 관련 부분의 단순 평균 풀링은 별도의 모델보다 성능 향상을 이룰 수 없었으며, 주목사용 기반 가중치 적용의 필요성을 확인했다.