[논문 리뷰] ME R-CNN: Multi-Expert Region-based CNN for Object Detection.

Hyungtae Lee, Sungmin Eum외 1명|arXiv (Cornell University)|2017. 04. 04.

Advanced Neural Network Applications인용 수 17

한 줄 요약

ME R-CNN는 수평으로 길게 뻗은, 정사각형에 가까운, 수직으로 길게 뻗은 물체를 위한 세 가지 전문화된 전문가를 사용하는 다중 전문가 기반 Region-based CNN을 제안한다. 이는 공유된 합성곱 백본과 철저한 검색을 통한 증강 학습을 통해 형태에 특화된 사전 지식과 외관 변화를 포착함으로써 정확도를 향상시킨다.

ABSTRACT

Recent CNN-based object detection methods have drastically improved their performances but still use a single classifier as opposed to in categorizing objects. The main motivation of introducing multi-experts is twofold: i) to allow different experts to specialize in different fundamental object shape priors and ii) to better capture the appearance variations caused by different poses and viewing angles. The proposed approach, referred to as multi-expert Region-based CNN (ME R-CNN), consists of three experts each responsible for objects with particular shapes: horizontally elongated, square-like, and vertically elongated. Each expert is a network with multiple fully connected layers and all the experts are preceded by a shared network which consists of multiple convolutional layers. On top of using selective search which provides a compact, yet effective set of region of interests (RoIs) for object detection, we augmented the set by also employing the exhaustive search for training. Incorporating the exhaustive search can provide complementary advantages: i) it captures the multitude of neighboring RoIs missed by the selective search, and thus ii) provide significantly larger amount of training examples to achieve the enhanced accuracy.

연구 동기 및 목표

• 단일 분류기 기반 물체 검출기의 다양한 물체 형태와 외관 변화를 다루는 데서 비롯하는 한계를 해결하기 위해.
• 수평으로 길게 뻗은, 정사각형에 가까운, 수직으로 길게 뻗은 물체와 같은 서로 다른 형태 사전 지식에 집중할 수 있도록 전문가를 특화시켜 검출 성능을 향상시키기 위해.
• 영역 제안 생성을 위해 선택적 검색과 철저한 검색을 조합하여 훈련 데이터의 다양성과 커버리지 향상시키기 위해.

제안 방법

• 모델는 영역 제안에서 특징을 추출하기 위해 공유된 합성곱 네트워크를 사용한 후, 각각 특정 형태 카테고리에 맞춰진 세 개의 전용 전문가 네트워크를 거친다.
• 각 전문가 네트워크는 형태에 특화된 특징에 기반해 물체를 분류하기 위해 다수의 완전 연결층으로 구성된다.
• 선택적 검색은 초기 영역 제안을 생성하는 데 사용되며, 이를 철저한 검색으로 증강하여 추가적인 인접 영역을 포괄한다.
• 철저한 검색은 선택적 검색이 놓친 영역을 포함시켜 보완적인 훈련 예제를 제공함으로써 훈련 데이터의 다양성을 높인다.
• 다중 전문가 설계 덕분에 전문화가 가능해져, 다양한 물체 자세와 시야 각도에 걸쳐 일반화 능력이 향상된다.
• 모든 전문가와 공유된 백본 간 공동 최적화를 통해 엔드 투 엔드로 훈련이 수행된다.

실험 결과

연구 질문

• RQ1 일괄적인 통합 분류기와 비교해 별도의 형태 사전 지식을 가진 전문가를 도입함으로써 물체 검출 성능이 향상되는가?
• RQ2 선택적 검색과 철저한 검색을 조합해 영역 제안을 생성할 경우, 검출 정확도와 훈련 데이터 커버리지에 어떤 영향을 미치는가?
• RQ3 형태 전문화된 전문가가 다양한 길이/너비 비율과 자세를 가진 물체 검출 오류를 어느 정도 감소시키는가?

주요 결과

• 다중 전문가 설계가 서로 다른 물체 형태에 특화된 전문화를 가능하게 하여 검출 정확도를 크게 향상시킨다.
• 선택적 검색과 함께 철저한 검색을 통합함으로써 훈련 예제 수가 증가하고 모델의 일반화 능력이 향상된다.
• 형태에 특화된 특징 학습 덕분에 어려운 자세와 시야 각도를 가진 물체에 대해 더 뛰어난 성능을 달성한다.
• 형태 전문화된 전문가와 증강된 영역 제안의 조합은 단일 전문가 기반 기준 모델에 비해 검출 mAP 향상에 기여한다.