[논문 리뷰] SCNet: Training Inference Sample Consistency for Instance Segmentation

Thang Vu, Haeyong Kang외 1명|arXiv (Cornell University)|2020. 12. 18.

Advanced Neural Network Applications인용 수 7

한 줄 요약

SCNet은 인스턴스 세그멘테이션에서 훈련과 추론 간 IoU 분포를 일치시키기 위해 샘플 일致성 훈련 전략을 제안한다. 이는 검출 헤드 출력의 이질성을 감소시키며, 훈련 및 추론 모두에서 최종 검출 헤드만을 사용하여 마스크 예측을 수행함으로써 이루어진다. 이와 함께 특징 전달과 글로벌 컨텍스트 모델링을 통합함으로써, SCNet은 Cascade Mask R-CNN 대비 마스크 AP를 2.3점 향상시키고 상자 AP를 1.3점 향상시키며, 추론 속도는 38% 빠르게 구현한다.

ABSTRACT

Cascaded architectures have brought significant performance improvement in object detection and instance segmentation. However, there are lingering issues regarding the disparity in the Intersection-over-Union (IoU) distribution of the samples between training and inference. This disparity can potentially exacerbate detection accuracy. This paper proposes an architecture referred to as Sample Consistency Network (SCNet) to ensure that the IoU distribution of the samples at training time is close to that at inference time. Furthermore, SCNet incorporates feature relay and utilizes global contextual information to further reinforce the reciprocal relationships among classifying, detecting, and segmenting sub-tasks. Extensive experiments on the standard COCO dataset reveal the effectiveness of the proposed method over multiple evaluation metrics, including box AP, mask AP, and inference speed. In particular, while running 38\% faster, the proposed SCNet improves the AP of the box and mask predictions by respectively 1.3 and 2.3 points compared to the strong Cascade Mask R-CNN baseline. Code is available at \url{https://github.com/thangvubk/SCNet}.

연구 동기 및 목표

• 계속되는 인스턴스 세그멘테이션 모델에서 훈련과 추론 간 IoU 분포의 불일치 문제를 해결하기 위해.
• 훈련 샘플이 추론 시와 동일한 IoU 분포를 반영하도록 보장함으로써 일반화 능력과 검출 정확도를 향상시키기 위해.
• 명시적인 특징 흐름과 글로벌 컨텍스트 모델링를 통해 검출, 분류, 세그멘테이션 간 작업 상호작용을 강화하기 위해.
• 모델 복잡도를 증가시키지 않으면서도 더 높은 정확도와 더 빠른 추론 속도를 달성하기 위해.

제안 방법

• 훈련 및 추론 모두에서 마스크 예측에 최종 검출 헤드의 출력만을 사용함으로써 샘플 일치성을 도입하여, 추론과 동일한 IoU 분포를 확보한다.
• 개선된 상자 특징을 마스크 브랜치로 명시적으로 전달하기 위해 특징 전달을 활용하여, 특징 수준의 상호작용을 향상시킨다.
• 장거리 컨텍스트 특징을 제공하는 글로벌 컨텍스트 브랜치를 통합하여 마스크 예측의 강건성을 향상시킨다.
• 국소 및 글로벌 감독 간 균형을 맞추기 위해 글로벌 컨텍스트 브랜치에 학습 가능한 손실 가중치를 적용한다.
• 단계 간 공유된 특징을 사용하여 RoIAlign을 적용함으로써 중복을 줄이고 추론 속도를 향상시킨다.
• 모든 구성 요소가 공동으로 훈련되는 통합 네트워크를 설계하여 인스턴스 세그멘테이션 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 훈련과 추론 간 IoU 분포의 불일치가 인스턴스 세그멘테이션 성능에 어떤 영향을 미치는가?
• RQ2 훈련 단계에서 IoU 분포를 일치시키면 일반화 능력과 추론 정확도가 향상되는가?
• RQ3 검출 헤드와 세그멘테이션 헤드 간 명시적인 특징 흐름이 세그멘테이션 품질에 어떤 영향을 미치는가?
• RQ4 글로벌 컨텍스트 모델링은 모호하거나 가림을 입은 물체의 마스크 예측에 어떻게 기여하는가?
• RQ5 샘플 일치성과 아키텍처 개선이 동시에 정확도와 추론 속도를 향상시킬 수 있는가?

주요 결과

• SCNet은 Cascade Mask R-CNN 대비 마스크 AP를 2.3점 향상시켰다 (37.4에서 39.8로), 상자 AP는 1.3점 향상시켰다 (43.3에서 33.6으로).
• 기준 모델 대비 38% 더 빠른 속도로 실행되어, 효과적인 샘플 일치성으로 6.5 fps의 추론 속도를 달성했다.
• 특징 전달는 Cascade Mask R-CNN에서 마스크 AP를 0.6점 향상시키며, 계산 오버헤드는 최소한으로 유지했다.
• 손실 가중치가 3인 글로벌 컨텍스트 모델링은 가장 우수한 성능을 보였으며, 글로벌 컨텍스트 없이 대비해 마스크 AP를 0.8점 향상시켰다.
• 샘플 일치성과 특징 전달를 조합함으로써 특징 전달 모듈의 수를 3개에서 1개로 줄여 효율성을 향상시키면서 성능 손실 없이 구현했다.
• 제거 실험 결과, 효과적인 샘플 일치성이 정확도 향상과 속도 향상 모두에 핵심적인 역할을 함을 확인했다. 난이도 높은 샘플 일치성보다도 뛰어난 성능을 기록했다.