[논문 리뷰] Learning to decompose for object detection and instance segmentation

Eunbyung Park, Alexander C. Berg|arXiv (Cornell University)|2015. 11. 19.

Advanced Neural Network Applications참고 문헌 25인용 수 18

한 줄 요약

이 논문은 객체 검출 및 인스턴스 세그멘테이션을 단일 순방향 전파에서 가변 길이 출력을 생성하기 위해 합성곱 및 순환층을 조합한 엔드 투 엔드 훈련 가능한 딥 네ural 네트워크인 DecompNet을 제안한다. 이는 영역 제안 또는 비최대 억제를 제거한다. 새로운 마스크 기반 손실 함수를 사용하여 인스턴스 수와 정확한 국소화를 동시에 예측함으로써 합성 MNIST 숫자에서 최신 기술 성능을 달성하고, KITTI 차량 검출에서 유망한 결과를 얻는다.

ABSTRACT

Although deep convolutional neural networks(CNNs) have achieved remarkable results on object detection and segmentation, pre- and post-processing steps such as region proposals and non-maximum suppression(NMS), have been required. These steps result in high computational complexity and sensitivity to hyperparameters, e.g. thresholds for NMS. In this work, we propose a novel end-to-end trainable deep neural network architecture, which consists of convolutional and recurrent layers, that generates the correct number of object instances and their bounding boxes (or segmentation masks) given an image, using only a single network evaluation without any pre- or post-processing steps. We have tested on detecting digits in multi-digit images synthesized using MNIST, automatically segmenting digits in these images, and detecting cars in the KITTI benchmark dataset. The proposed approach outperforms a strong CNN baseline on the synthesized digits datasets and shows promising results on KITTI car detection.

연구 동기 및 목표

• 영역 제안 및 비최대 억제에 의존하는 전통적인 객체 검출 파이프라인의 높은 계산 비용과 하이퍼파rameter 민감도 문제를 해결한다.
• 가변적인 수의 객체 인스턴스를 바운딩 박스 또는 세그멘테이션 마스크로 예측할 수 있는 통합된 엔드 투 엔드 훈련 가능한 아키텍처를 개발한다.
• 사전 또는 사후 처리 단계 없이 객체 수와 정확한 공간 국소화를 동시에 예측할 수 있도록 한다.
• 새로운 마스크 기반 손실 함수를 사용하여 다중 클래스, 다중 객체 검출 및 인스턴스 세그멘테이션의 훈련 안정성과 성능을 향상시킨다.

제안 방법

• 각 객체 클래스별로 고유한 응답 맵을 생성하기 위해 합성곱 신경망(CNN)을 사용한다.
• 각 응답 맵을 순환 네트워크에 입력하여, 각 객체 인스턴스당 하나씩 순차적으로 개별 인스턴스 맵을 생성한다.
• 순환 네트워크가 국소 공간 격자 대신 전체 응답 맵에 주목하도록 설계하여 전역적 맥락 인식 능력을 향상시킨다.
• 전체 인스턴스 수와 각 인스턴스의 정확한 공간 국소화를 동시에 최적화하는 새로운 마스크 기반 손실 함수를 도입한다.
• 백프로파게이션을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련함으로써 순환 모듈이 겹치거나 조밀하게 배열된 객체 응답을 암묵적으로 분해하는 방법을 학습할 수 있도록 한다.
• 각 검출된 인스턴스에 대해 고해상도 마스크 맵을 회귀함으로써 동일한 아키텍처를 검출 및 인스턴스 세그멘테이션에 모두 적용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 영역 제안 또는 비최대 억제에 의존하지 않고도 가변적인 수의 객체 인스턴스를 생성할 수 있는가?
• RQ2 순환 네트워크가 엔드 투 엔드 훈련 가능한 방식으로 단일 카테고리 응답 맵을 다수의 개별 인스턴스 맵으로 효과적으로 분해할 수 있는가?
• RQ3 인스턴스 수와 공간 국소화를 동시에 최적화하는 새로운 마스크 기반 손실 함수가 검출 및 세그멘테이션 성능을 향상시키는가?
• RQ4 제안된 아키텍처는 다양한 객체 카테고리에 일반화되고, 다양한 객체 크기 및 밀도를 처리할 수 있는가?
• RQ5 이 엔드 투 엔드 접근 방식은 합성 및 실세계 벤치마크에서 강력한 CNN 기반 모델 및 이단계 검출기와 비교해 성능가능한가?

주요 결과

• DecompNet은 강력한 CNN 기반 모델보다 합성 다중숫자 MNIST 데이터셋에서 더 높은 검출 정확도를 달성하여 숫자 '3', '6', '9'에 대해 뛰어난 성능을 보였다.
• KITTI 벤치마크에서 차량 검출에 대해 경쟁 가능한 성능을 달성하여 아키텍처 수정 없이 실세계 데이터로의 일반화 능력을 입증했다.
• 제안된 마스크 기반 손실 함수는 정확한 인스턴스 수와 공간 국소화의 동시 예측을 가능하게 하여 훈련 안정성과 출력 품질을 향상시켰다.
• 순환 분해 메커니즘은 겹치거나 조밀하게 배열된 객체 상황에서도 개별 인스턴스를 성공적으로 식별하고 분리했다.
• 합성 숫자 데이터셋에서 최신 기술 성능을 달성하였으며, 동일 작업에서 이단계 검출기와 비교해 유사하거나 더 뛰어난 성능을 보였다.
• 이 방법은 인스턴스 세그멘테이션으로 일반화되어 후처리 없이 고해상도 마스크 맵을 생성하여 각 객체 인스턴스를 정확히 국소화했다.