[논문 리뷰] Straight to Shapes++: Real-time Instance Segmentation Made More Accurate

Laurynas Miksys, Saumya Jetley외 3명|arXiv (Cornell University)|2019. 05. 27.

Advanced Neural Network Applications참고 문헌 37인용 수 4

한 줄 요약

이 논문은 아키텍처 개선 및 훈련 최적화를 통해 원래의 Straight to Shapes (STS) 프레임워크보다 정확도를 향상시킨 실시간 인스턴스 세그멘테이션 모델인 STS++를 제안한다. 파라미터 공유, 과도한 데이터 증강, 구조적 거리변환 손실를 통합함으로써 STS++는 PASCAL VOC에서 0.5 IoU 기준으로 19.7 mAP 향상을 달성하면서도 실시간 추론 속도를 유지한다.

ABSTRACT

Instance segmentation is an important problem in computer vision, with applications in autonomous driving, drone navigation and robotic manipulation. However, most existing methods are not real-time, complicating their deployment in time-sensitive contexts. In this work, we extend an existing approach to real-time instance segmentation, called `Straight to Shapes' (STS), which makes use of low-dimensional shape embedding spaces to directly regress to object shape masks. The STS model can run at 35 FPS on a high-end desktop, but its accuracy is significantly worse than that of offline state-of-the-art methods. We leverage recent advances in the design and training of deep instance segmentation models to improve the performance accuracy of the STS model whilst keeping its real-time capabilities intact. In particular, we find that parameter sharing, more aggressive data augmentation and the use of structured loss for shape mask prediction all provide a useful boost to the network performance. Our proposed approach, `Straight to Shapes++', achieves a remarkable 19.7 point improvement in mAP (at IOU of 0.5) over the original method as evaluated on the PASCAL VOC dataset, thus redefining the accuracy frontier at real-time speeds. Since the accuracy of instance segmentation is closely tied to that of object bounding box prediction, we also study the error profile of the latter and examine the failure modes of our method for future improvements.

연구 동기 및 목표

• 실시간 인스턴스 세그멘테이션 모델인 Straight to Shapes (STS)의 정확도를 향상시키되, 추론 속도를 저하시키지 않도록 하는 것.
• 최근의 딥 러닝 아키텍처 및 훈련 기법이 실시간 인스턴스 세그멘테이션 성능 향상에 어떻게 활용될 수 있는지 조사하는 것.
• 객체 검출 및 세그멘테이션 예측의 실패 모드를 분석하여 향후 개선을 위한 방향을 제시하는 것.
• PASCAL VOC 벤치마크에서 실시간 인스턴스 세그멘테이션의 정확도 한계를 재정의하는 것.

제안 방법

• 예측 헤드 간에 파라미터 공유를 도입하여 일반화 성능 향상과 과적합 감소를 도모한다.
• 무작위 스케일링, 자르기, 색상 왜곡 등을 포함한 과도한 데이터 증강 전략을 적용하여 시각적 변형에 대한 강건성을 높인다.
• 거리변환 기반의 구조적 손실 함수를 도입하여 모양 마스크 예측의 정규화를 향상시키고 공간 일관성을 개선한다.
• 448×448 입력 이미지에서 직접 카테고리, 위치, 형태 임베딩을 예측하는 다중 헤드 회귀 헤드를 사용한다.
• 형태 임베딩 디코딩을 위한 깊은 회귀기의 입력으로 고정된 4096차원 특징 표현을 사용한다.
• 형태 임베딩 공간에서 학습된 역매핑을 사용하여 예측된 형태 임베딩을 2차원 인스턴스 마스크로 디코딩한다.

실험 결과

연구 질문

• RQ1 최근의 딥 러닝 아키텍처 및 훈련 기법이 실시간 인스턴스 세그멘테이션 정확도 향상에 효과적으로 적용될 수 있는가?
• RQ2 파라미터 공유와 과도한 데이터 증강 전략은 직접 형태 임베딩 기반의 인스턴스 세그멘테이션 모델의 성능에 어떤 영향을 미치는가?
• RQ3 거리변환 기반의 구조적 손실 함수를 사용할 경우 마스크 예측 정확도에 어떤 영향을 미치는가?
• RQ4 바운딩 박스 예측 오류의 패턴은 전체 인스턴스 세그멘테이션 성능에 어떤 영향을 미치는가?
• RQ5 STS++ 모델의 주요 실패 모드는 무엇이며, 향후 연구에서 이를 어떻게 해결할 수 있는가?

주요 결과

• STS++는 PASCAL VOC 데이터셋에서 원래의 STS 모델 대비 0.5 IoU 기준으로 19.7 mAP 향상을 달성하여 실시간 인스턴스 세그멘테이션의 새로운 정확도 기준을 설정한다.
• 과도한 데이터 증강 전략만으로도 원래의 STS 모델 대비 mAP가 8.8 포인트 향상된다.
• 파라미터 공유와 구조적 거리변환 손실 각각이 성능 향상에 기여하며, 특히 후자는 예측 마스크의 공간 일관성을 향상시킨다.
• STS++는 실시간 추론 속도를 유지하여 고성능 데스크톱에서 35 FPS로 실행되며, 시간 민감한 응용 분야에 적합하다.
• 연속적인 형태 임베딩 공간 덕분에 새로운 카테고리에 대해서도 강한 일반화 성능를 보이며, 실세계 적용에 유리한 핵심 장점이다.
• 실패 분석 결과, 특히 크기 및 위치 예측 오류가 주요 성능 저하 요인임을 확인하였으며, 향후 성능 향상을 위해서는 검출기 개선이 필수적임을 시사한다.