[논문 리뷰] Dense RepPoints: Representing Visual Objects with Dense Point Sets

Ze Yang, Yinghao Xu외 6명|arXiv (Cornell University)|2019. 12. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 55인용 수 16

한 줄 요약

이 논문은 박스 수준과 픽셀 수준에서 객체를 모델링할 수 있는 밀도 높은 속성 지닌 점 집합을 사용하는 통합 객체 표현인 Dense RepPoints를 소개한다. 거리 변환 샘플링, 세트 간 감독, 데라운이 삼각분할을 조합함으로써, ResNeXt-101-DCN 기반으로 COCO test-dev에서 48.9 mAP의 최신 기술 수준 성능를 달성하면서도, 그룹 풀링과 공유 필드를 통해 거의 일정한 계산 복잡도를 유지한다.

ABSTRACT

We present a new object representation, called Dense RepPoints, that utilizes a large set of points to describe an object at multiple levels, including both box level and pixel level. Techniques are proposed to efficiently process these dense points, maintaining near-constant complexity with increasing point numbers. Dense RepPoints is shown to represent and learn object segments well, with the use of a novel distance transform sampling method combined with set-to-set supervision. The distance transform sampling combines the strengths of contour and grid representations, leading to performance that surpasses counterparts based on contours or grids. Code is available at \url{https://github.com/justimyhxu/Dense-RepPoints}.

연구 동기 및 목표

• 객체 검출에서부터 픽셀 수준 마스크까지 다양한 해상도에서 시각적 객체를 효과적으로 모델링할 수 있는 통합 객체 표현을 개발하는 것.
• 예를 들어 RepPoints와 같은 희소 점 표현이나 격자/마스크 기반 방법의 한계를 극복하여 세밀한 기하학적 구조를 포착하는 것.
• 선형 복잡도 증가 없이도 밀도 높은 점 집합에서 효율적인 학습과 추론을 가능하게 하는 것.
• 점 기반 마스크 표현을 위한 새로운 샘플링 및 감독 전략을 도입하여 인스턴스 세그멘테이션 성능 향상.
• 밀도 높은 점 집합이 검출 및 세그멘테이션 작업을 모두 향상시키는 데 기여하는 민첩하고 통합 가능한 표현으로 활용될 수 있음을 입증하는 것.

제안 방법

• 지표 마스크의 이진 경계 마스크를 거리 변환 맵 기반 확률적 샘플링 점 집합으로 변환하는 거리 변환 샘플링(DTS)을 제안한다.
• 엄격한 점-점 대응을 피하는 세트 간 감독 손실을 도입하여, 인스턴스 세그멘테이션을 위한 더 견고하고 의미적으로 유의미한 학습을 가능하게 한다.
• 학습된 격자 없는 밀도 높은 RepPoints를 보간을 통해 고해상도 인스턴스 마스크로 변환하기 위해 데라운이 삼각분할을 활용한다.
• 점 수가 증가함에도 불구하고, 그룹 풀링과 공유 오프셋/속성 필드를 적용하여 거의 일정한 추론 복잡도를 유지한다.
• 점 위치와 속성을 엔드 투 엔드로 예측할 수 있는 ResNet 기반 백본과 적응형 점 헤드를 사용한다.
• 동일한 밀도 높은 점 표현이 객체 검출과 인스턴스 세그멘테이션 모두를 지원하는 통합 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 밀도 높은 점 집합 표현이 단일 프레임워크 내에서 객체 검출과 인스턴스 세그멘테이션을 효과적으로 통합할 수 있는가?
• RQ2 밀도 높은 점 집합은 선형 복잡도 증가 없이도 세밀한 객체 기하학을 모델링하기 위해 효율적으로 샘플링하고 감독할 수 있는가?
• RQ3 거리 변환 샘플링을 사용한 점 기반 표현이 전통적인 윤곽선 또는 격자 마스크 표현보다 세그멘테이션 정확도에서 뛰어나게 성능을 냈는가?
• RQ4 속성 점수 예측 및 점 위치 정렬 최적화를 통해 밀도 높은 점 기반 모델의 성능을 얼마나 향상시킬 수 있는가?
• RQ5 검출 및 세그멘테이션 작업 간 공유된 특징을 갖는 통합 표현이 전체 인식 성능 향상에 기여하는가?

주요 결과

• ResNeXt-101-DCN 백본 기반으로 COCO test-dev에서 48.9 mAP를 달성하여 ATSS(47.7 mAP)와 같은 최신 기술 수준의 앵커리스 방법을 능가한다.
• ResNet-101 백본을 사용할 경우, 박스 mAP는 45.6, 마스크 mAP는 39.1을 기록하여 RepPoints와 Mask R-CNN를 모두 능가한다.
• 상한 분석 결과, 완벽한 속성 점수를 가질 경우 ResNet-50 기반으로 mAP는 39.4에 도달하며, 점 수가 729에 도달하면 IoU가 95%를 초과한다.
• 세트 간 감독 손실은 점-점 감독보다 더 나은 일반화 성능을 보이며, 특히 세밀한 기하학적 모델링에서 유의미하다.
• DTS와 데라운이 삼각분할의 조합은 지표 마스크의 점과 점수를 사용할 경우 거의 완벽한 마스크 재구성(IoU > 95%)을 달성한다.
• 그룹 풀링과 공유 필드는 점 수가 증가함에도 불구하고 거의 일정한 복잡도를 유지하여 밀도 높은 집합에서의 효율적 추론을 가능하게 한다.