[논문 리뷰] Poly-YOLO: higher speed, more precise detection and instance segmentation for YOLOv3

Petr Hurtík, Vojtěch Molek외 4명|arXiv (Cornell University)|2020. 05. 27.

Advanced Image and Video Retrieval Techniques인용 수 25

한 줄 요약

Poly-YOLO는 스타일스텝 업샘플링을 사용한 하이퍼컬럼 기반 넥을 도입하여 다중 해상도 특징을 통합함으로써 단일 고해상도 출력을 가능하게 하여 레이블 재작성과 앵커 오류 배치 문제를 해결한다. 이로 인해 파라미터 수를 60% 줄이며 40%의 상대 mAP 향상을 달성하고, 극좌표계에서의 학습 가능한 크기 독립형 경계 다각형을 통해 실시간 인스턴스 세그멘테이션을 구현한다.

ABSTRACT

We present a new version of YOLO with better performance and extended with instance segmentation called Poly-YOLO. Poly-YOLO builds on the original ideas of YOLOv3 and removes two of its weaknesses: a large amount of rewritten labels and inefficient distribution of anchors. Poly-YOLO reduces the issues by aggregating features from a light SE-Darknet-53 backbone with a hypercolumn technique, using stairstep upsampling, and produces a single scale output with high resolution. In comparison with YOLOv3, Poly-YOLO has only 60% of its trainable parameters but improves mAP by a relative 40%. We also present Poly-YOLO lite with fewer parameters and a lower output resolution. It has the same precision as YOLOv3, but it is three times smaller and twice as fast, thus suitable for embedded devices. Finally, Poly-YOLO performs instance segmentation using bounding polygons. The network is trained to detect size-independent polygons defined on a polar grid. Vertices of each polygon are being predicted with their confidence, and therefore Poly-YOLO produces polygons with a varying number of vertices.

연구 동기 및 목표

• 해상도가 낮아서 발생하는 레이블 재작성과 잘못된 앵커 분포라는 YOLOv3의 두 가지 주요 약점을 해결한다.
• 모델 크기와 추론 시간을 줄이며 정밀도를 향상시켜 실시간 배포에 적합하게 한다.
• 동적이고 크기 독립적인 경계 다각형을 사용해 YOLOv3에 인스턴스 세그멘테이션 기능을 추가한다.
• 극좌표 기반 다각형 제어를 통해 스마트 자동차 헤드라이트와 같은 애플리케이션에서 정밀하고 설명 가능한 객체 강조 기능을 제공한다.
• 정확도나 세그멘테이션 정밀도를 희생시키지 않고도 중급 GPU에서 실시간 성능을 달성한다.

제안 방법

• 경량 SE-Darknet-53 백본에서 유도된 다중 해상도 특징 맵을 융합하기 위해 스타일스텝 업샘플링을 사용한 하이퍼컬럼 기반 특징 융합 넥을 제안한다.
• YOLOv3의 다중 해상도 헤드를 단일 고해상도 출력 텐서로 대체하여 레이블 재작성 문제를 제거하고 앵커 분포를 향상시킨다.
• 새로운 인스턴스 세그멘테이션 헤드를 설계하여 다각형의 정점들을 상대 좌표를 가진 극좌표 격자에서 예측한다.
• 모델이 각 객체당 변의 수를 가변적으로 예측하도록 학습시켜 크기 독립적인 형태 학습을 가능하게 한다.
• 각 정점의 신뢰도 점수를 사용해 객체의 형태와 검출 신뢰도에 따라 다각형의 복잡도를 동적으로 조절한다.
• 정점들을 극좌표 셀에 매핑하는 레이블 생성 기법을 도입하며, 겹치는 셀에서는 더 멀리 떨어진 정점에 우선순위를 부여한다.

실험 결과

연구 질문

• RQ1 하이퍼컬럼 융합과 스타일스텝 업샘플링을 적용한 수정된 YOLOv3 넥은 레이블 재작성과 앵커 분포 문제를 줄일 수 있는가?
• RQ2 단일 고해상도 출력 텐서는 파arameter 수를 줄이며 YOLOv3의 다중 해상도 헤드보다 검출 정확도에서 뛰어나게 작용할 수 있는가?
• RQ3 극좌표계에서 동적이고 크기 독립적인 경계 다각형을 사용해 효과적인 인스턴스 세그멘테이션을 달성할 수 있는가?
• RQ4 제안된 방법은 중급 GPU에서 정확도나 mAP 향상과 함께 실시간 추론 속도를 유지할 수 있는가?
• RQ5 다각형 기반 세그멘테이션은 추가적인 레이블링 없이도 스마트 헤드라이트 제어와 같은 실용적이고 설명 가능한 응용에 기여할 수 있는가?

주요 결과

• Poly-YOLO는 YOLOv3 대비 상대 mAP를 40% 향상시키며, 학습 가능한 파라미터를 원래의 60%로 줄였다.
• Cityscapes 데이터셋을 사용해 중급 GPU에서 22 FPS의 실시간 추론 성능을 달성했다.
• Poly-YOLO Lite는 YOLOv3와 동일한 mAP를 유지하지만 크기는 3배 작고 속도는 2배 빠르며, 임베디드 시스템에 적합하다.
• 다각형 기반 인스턴스 세그멘테이션 방법은 크기 독립적인 형태를 학습하고 객체당 정점 수를 동적으로 조절한다.
• 극좌표 격자 표현 방식은 스마트 헤드라이트와 같은 응용 분야에서 효율적이고 설명 가능한 제어를 가능하게 하며, 특정 객체 부분(예: 앞유리)을 어둡게 조절할 수 있다.
• 다수의 정점이 동일한 극좌표 셀에 속할 경우 볼록형이 아닌 형태가 왜곡될 수 있는 한계가 존재하지만, 이는 모델의 예측이 아닌 레이블 생성 과정에서 기인한다.