[논문 리뷰] Panoptic Edge Detection

Yuan Hu, Yingtian Zou외 1명|arXiv (Cornell University)|2019. 06. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 18인용 수 5

한 줄 요약

이 논문은 스태프 카테고리에 대한 의미 수준의 에지 검출과 오브제트 인스턴스에 대한 인스턴스 수준의 에지 검출을 통합하는 새로운 작업인 패노픽 에지 검출(Panoptic Edge Detection, PED)을 소개한다. 저자들은 공유된 특징을 사용하여 의미 에지 검출, 오브제트 검출, 인스턴스 에지 검출을 동시에 최적화하는 다중 브랜치, 엔드 투 엔드 학습 가능한 프레임워크인 패노픽 에지 네트워크(Panoptic Edge Network, PEN)를 제안하며, 시티스케이프와 ADE20K에서 새로운 $F^2$ 평가 지표를 사용해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Pursuing more complete and coherent scene understanding towards realistic vision applications drives edge detection from category-agnostic to category-aware semantic level. However, finer delineation of instance-level boundaries still remains unexcavated. In this work, we address a new finer-grained task, termed panoptic edge detection (PED), which aims at predicting semantic-level boundaries for stuff categories and instance-level boundaries for instance categories, in order to provide more comprehensive and unified scene understanding from the perspective of edges.We then propose a versatile framework, Panoptic Edge Network (PEN), which aggregates different tasks of object detection, semantic and instance edge detection into a single holistic network with multiple branches. Based on the same feature representation, the semantic edge branch produces semantic-level boundaries for all categories and the object detection branch generates instance proposals. Conditioned on the prior information from these two branches, the instance edge branch aims at instantiating edge predictions for instance categories. Besides, we also devise a Panoptic Dual F-measure (F2) metric for the new PED task to uniformly measure edge prediction quality for both stuff and instances. By joint end-to-end training, the proposed PEN framework outperforms all competitive baselines on Cityscapes and ADE20K datasets.

연구 동기 및 목표

• 의미 수준의 에지 검출과 인스턴스 수준의 에지 검출을 통합하는 새로운 작업인 패노픽 에지 검출(Panoptic Edge Detection, PED)을 도입하여 더 세밀한 시나리오 이해의 필요성을 해결한다.
• 기존의 카테고리 인식 의미 에지 검출의 한계를 극복하여 오브제트 카테고리의 인스턴스 경계를 구분하지 못하는 문제를 해결한다.
• 한 개의 엔드 투 엔드 네트워크에서 스태프에 대한 의미 수준의 에지와 오브제트에 대한 인스턴스 수준의 에지를 동시에 예측할 수 있는 통합된 딥 러닝 프레임워크를 개발한다.
• 스태프와 인스턴스 카테고리 양측에서 에지 품질을 균일하게 평가할 수 있도록 새로운 평가 지표인 패노픽 듀얼 F-메이저($F^2$)를 제안한다.
• 에지 검출과 오브제트 검출 모듈을 별도로 학습하는 것보다 병렬 다중 작업 학습이 성능 향상에 더 효과적임을 입증한다.

제안 방법

• 공통된 시각 기반 백본을 공유하고, 의미 에지 검출, 오브제트 검출, 인스턴스 에지 검출에 특화된 세 가지 작업 전용 브랜치를 포함하는 다중 브랜치, 단일 네트워크 아키텍처인 패노픽 에지 네트워크(Panoptic Edge Network, PEN)를 설계한다.
• 스태프 및 인스턴스 카테고리에 대한 카테고리별 에지를 예측하기 위해 의미 에지 브랜치에서 계층적 특징 융합을 사용한다.
• 바운딩 박스 회귀를 통해 인스턴스 제안을 생성하는 레이지 기반 오브제트 검출 헤드(Faster R-CNN에 영향을 받아 구현)를 활용한다.
• 의미 에지 및 오브제트 검출 브랜치로부터의 사전 정보를 조건으로 삼아 인스턴스 에지 검출 브랜치에서 인스턴스 전용 에지 맵을 생성한다.
• 에지 경계를 왜곡하는 특징 리사이징 연산(예: ROI Align)을 제거하여 고해상도 에지 세부 정보를 유지한다.
• 패노픽 듀얼 F-메이저($F^2$)를 도입하여, 스태프에 대한 최대 F-메이저(ODS)와 오브제트 검출의 F1 스코어 및 인스턴스에 대한 에지 F-메이저를 통합함으로써 통합 평가가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 의미 수준의 에지와 인스턴스 수준의 에지를 동시에 예측할 수 있는 통합된 딥 러닝 프레임워크는 가능한가?
• RQ2 의미 에지 검출, 오브제트 검출, 인스턴스 에지 검출을 병렬 다중 작업으로 학습할 경우, 별도로 학습하는 것보다 성능 향상이 이루어지는가?
• RQ3 패노픽 에지 검출 설정에서 스태프와 인스턴스 카테고리 양측의 에지 품질을 균일하게 평가할 수 있는 적절한 평가 지표는 무엇인가?
• RQ4 ROI 어ライン 등에서의 특징 리사이징을 피할 경우, 인스턴스 수준의 에지 검출에서 경계 정확도가 얼마나 향상되는가?
• RQ5 기존의 패노픽 세그멘테이션 및 의미 에지 검출 기반 베이스라인과 비교했을 때, 제안된 PEN 프레임워크는 에지 검출 정확도에서 어떤가?

주요 결과

• 제안된 PEN 프레임워크는 시티스케이프 데이터셋에서 $F^2$ 스코어 60.1%를 기록하여, CASENet+Faster(49.2%)와 Panoptic FPN*(58.8%)를 모두 앞서는 성능을 보였다.
• 시티스케이프에서 PEN은 스태프 카테고리에 대해 $F_{edge}$를 9.5% 향상시키고, 인스턴스 카테고리에 대해선 16.3% 향상시켜, 에지 검출 품질 향상이 뚜렷하게 나타났다.
• 인스턴스 카테고리에 대해 PEN은 시티스케이프에서 $F_{edge}$ 67.8%와 $F^{2}$ 37.6%를 기록하여, Panoptic FPN* 대비 $F^{2}$에서 16.3% 향상되며, 인스턴스 수준의 에지 예측에서 뛰어난 성능을 입증했다.
• ADE20K에서 PEN은 인스턴스 카테고리에 대해 $F^{2}$ 34.5%를 기록하여, CASENet+Faster(21.4%)와 Panoptic FPN*(14.5%)를 모두 앞서며, 다양한 시나리오에 대한 강력한 일반화 능력을 확인했다.
• 정성적 결과에서는 PEN이 ROI 어라이닝 연산에서 발생하는 리사이징으로 인해 두꺼워지는 경계 문제를 겪는 Panoptic FPN*보다 더 날카우며 정확한 인스턴스 경계를 생성하는 것으로 나타났다.
• 제거 분석 결과, 병렬 다중 작업 학습이 인스턴스 에지 검출 성능 향상에 크게 기여하며, CASENet+Faster 대비 $F_{edge}$에서 29.8% 향상된 것으로 나타나, 다중 작업 학습의 유용성을 확인했다.