[논문 리뷰] RDSNet: A New Deep Architecture for Reciprocal Object Detection and Instance Segmentation

Shaoru Wang, Yongchao Gong외 4명|arXiv (Cornell University)|2019. 12. 11.

Advanced Neural Network Applications참고 문헌 30인용 수 16

한 줄 요약

RDSNet는 상호 기반 특징 융합을 통해 객체 검출과 인스턴스 세분화를 동시에 최적화하는 통합된 이중 스트림 딥 아키텍처를 제안한다. 픽셀 수준의 마스크를 사용해 바운딩 박스를 번갈아로 개선하고, 객체 수준의 정보를 통해 마스크 품질을 향상시킴으로써 RDSNet은 고해상도 마스크와 낮은 국소화 오차를 갖는 상태에서 최신 기술 수준의 정확도(32.1 mAP, 32 fps)를 달성하며, YOLACT와 같은 단계적 방법을 능가하고 Mask R-CNN와 같은 이중 단계 모델의 핵심 한계를 해결한다.

ABSTRACT

Object detection and instance segmentation are two fundamental computer vision tasks. They are closely correlated but their relations have not yet been fully explored in most previous work. This paper presents RDSNet, a novel deep architecture for reciprocal object detection and instance segmentation. To reciprocate these two tasks, we design a two-stream structure to learn features on both the object level (i.e., bounding boxes) and the pixel level (i.e., instance masks) jointly. Within this structure, information from the two streams is fused alternately, namely information on the object level introduces the awareness of instance and translation variance to the pixel level, and information on the pixel level refines the localization accuracy of objects on the object level in return. Specifically, a correlation module and a cropping module are proposed to yield instance masks, as well as a mask based boundary refinement module for more accurate bounding boxes. Extensive experimental analyses and comparisons on the COCO dataset demonstrate the effectiveness and efficiency of RDSNet. The source code is available at https://github.com/wangsr126/RDSNet.

연구 동기 및 목표

• 객체 검출과 인스턴스 세분화 간의 상호 의존성을 해결하기 위해, 이 둘은 강한 상관관계가 있음에도 불구하고 종종 별개의 작업으로 간주되는 문제를 다루기 위함.
• 기존 방법의 한계, 즉 낮은 마스크 해상도, 검출 결과에 대한 과도한 의존성, 바운딩 박스 국소화 오류를 극복하기 위함.
• 객체 수준 및 픽셀 수준의 특징을 상호 보완적으로 활용하는 통합형 엔드 투 엔드 아키텍처를 설계하여 성능 향상 도모.
• 특히 소형 및 대형 객체에 대해 실시간 추론 속도를 유지하면서도 높은 정확도를 확보하기 위함.
• 등록 기반 바운딩 박스 예측에 대한 의존도를 줄이기 위해 마스크 기반 경계 보정 메커니즘을 도입하기 위함.

제안 방법

• RDSNet는 객체 스트림(등록 기반 검출 전용)과 픽셀 스트림(전체 컨volution 네트워크(FCN) 기반 고해상도 인스턴스 세분화 전용)로 구성된 이중 스트림 아키텍처를 사용한다.
• 객체 스트림에서의 인스턴스 인식 및 이동 불변 특징을 픽셀 스트림으로 전달하기 위해 상관 모듈과 컷팅 모듈을 도입하여 정밀한 마스크 생성을 가능하게 한다.
• 마스크 기반 경계 보정 모듈(MBRM)은 예측된 인스턴스 마스크를 활용해 바운딩 박스 좌표를 보정함으로써, 마스크의 최소 외접 직사각형을 이용해 국소화 오차를 감소시킨다.
• 학습 중 배경 픽셀의 다양성을 다루기 위해 확장 및 대비 전략을 적용하고, 마스크 품질 향상을 위해 OHEM(온라인 하드 예외 마이닝)을 사용한다.
• 특징을 양 스트림 간에 번갈아로 융합함으로써 객체 스트림은 픽셀 수준의 맥락 정보를 얻고, 픽셀 스트림은 객체 국소화를 정밀하게 개선할 수 있도록 한다.
• 다중 작업 손실을 통해 검출 및 세분화 목표를 결합하여 엔드 투 엔드로 학습하며, 경계 보정 최적화를 위해 하이퍼파ram터를 조정한다.

실험 결과

연구 질문

• RQ1 상호 기반 특징 학습을 통한 객체 검출 및 인스턴스 세분화의 공동 최적화가 양 측면의 성능 향상에 기여하는가?
• RQ2 특히 대형 객체의 경우, 바운딩 박스 품질과는 별개로 마스크 품질을 어떻게 향상시킬 수 있는가?
• RQ3 등록 기반 예측이 아닌 픽셀 수준의 마스크 정보를 활용할 경우, 바운딩 박스 국소화 정확도는 어느 정도 향상될 수 있는가?
• RQ4 배경 픽셀 혼동을 줄이고 마스크 일반화 성능을 향상시키기 위해 가장 효과적인 학습 전략은 무엇인가?
• RQ5 다양한 객체 크기에서 MBRM 모듈이 직접적인 마스크-박스 매핑 방식에 비해 국소화 정확도에서 어떤 성능 차이를 보이는가?

주요 결과

• RDSNet는 입력 크기가 550인 COCO 인스턴스 세분화에서 32.1 mAP를 달성하며, 32 fps로 작동하여 YOLACT보다 1.1 mAP 높고, 더 느린 이중 단계 모델의 정확도를 맞추어 냅니다.
• OHEM과 결합했을 때, 컷팅 모듈은 선형 조합(LC) 대비 1.1 mAP 향상, YOLACT 대비 1.9 mAP 향상으로 마스크 생성의 효과성을 입증합니다.
• MBRM 모듈은 특히 대형 객체에서 바운딩 박스 국소화를 향상시켜 기준 모델 대비 대형 객체(AP_L^bb)에서 3.2 mAP 향상되었으며, 다양한 크기에서 안정적인 성능 유지를 보입니다.
• 모델은 국소화 오차를 크게 줄였으며, MBRM은 평균적으로 AP_bb를 1.3점 향상시켰고, 가장 큰 성과는 대형 객체에서 나타나 (+3.2 mAP) 마스크 유도 보정의 가치를 입증합니다.
• 제거 분석 결과, OHEM과 적절한 데이터 증강(예: 학습 중 박스 확장)이 성능 향상에 필수적임을 확인하였으며, OHEM만으로도 YOLACT 대비 1.9 mAP 향상이 이루어졌습니다.
• 추론 속도는 기본 검출기와 거의 동일한 10.9 fps를 기록하여 추가 모듈로 인한 오버헤드가 미미하며, 더 빠른 검출기로의 쉽게 적응 가능합니다.