[논문 리뷰] Annotating Object Instances with a Polygon-RNN

Lluís Castrejón, Kaustav Kundu외 2명|arXiv (Cornell University)|2017. 04. 18.

Advanced Image and Video Retrieval Techniques참고 문헌 33인용 수 40

한 줄 요약

이 논문은 도형-RNN을 제안하며, 이미지 컷에서 객체 인스턴스를 둘러싸는 다각형 꼭짓점을 순차적으로 예측하는 순환 신경망을 사용하여 반자동으로 객체 인스턴스를 주석 처리하는 방법이다. 이는 주석자들이 실시간으로 수정할 수 있도록 하여 상호작용을 가능하게 한다. 도메인 특화된 도메인에서의 주석 처리 시간을 4.7배 감소시키며, 정답과의 IoU 일치도 78.4%를 달성하여 인간 주석자 수준의 일致성을 보이며, KITTI와 같은 새로운 데이터셋으로도 일반화된다.

ABSTRACT

We propose an approach for semi-automatic annotation of object instances. While most current methods treat object segmentation as a pixel-labeling problem, we here cast it as a polygon prediction task, mimicking how most current datasets have been annotated. In particular, our approach takes as input an image crop and sequentially produces vertices of the polygon outlining the object. This allows a human annotator to interfere at any time and correct a vertex if needed, producing as accurate segmentation as desired by the annotator. We show that our approach speeds up the annotation process by a factor of 4.7 across all classes in Cityscapes, while achieving 78.4% agreement in IoU with original ground-truth, matching the typical agreement between human annotators. For cars, our speed-up factor is 7.3 for an agreement of 82.2%. We further show generalization capabilities of our approach to unseen datasets.

연구 동기 및 목표

• 고품질의 객체 인스턴스 세그멘테이션 데이터셋을 생성하는 데 소요되는 시간과 비용을 줄이기 위해.
• 인간의 다각형 기반 주석 처리 방식을 모방하면서도 실시간 수정 기능을 제공하는 방법을 개발하기 위해.
• 최소한의 인간 간섭으로도 인간 주석자 간 일致성 수준의 주석 정확도를 달성하기 위해.
• 모델이 KITTI와 같은 새로운 데이터셋으로의 일반화 능력을 평가하기 위해.

제안 방법

• 도메인 특화된 도메인에서 객체 인스턴스를 둘러싸는 다각형의 꼭짓점을 순차적으로 예측하도록 훈련된 순환 신경망(Polygon-RNN)을 사용한다.
• 모델은 이미지 컷과 바운딩 박스를 입력으로 받아, 순차적으로 하나의 꼭짓점을 생성한다.
• 주석자는 실시간으로 예측된 꼭짓점을 수정할 수 있어, 원하는 정확도에 도달하기까지 반복적으로 개선할 수 있다.
• 이 방법은 다각형의 구조적 일관성을 활용하여 타당하고 구멍이 없는 객체 윤곽을 생성한다.
• 모델은 Cityscapes에서 훈련되고, Cityscapes와 KITTI에서 평가되어 제로샷 일반화 능력을 평가한다.
• 추론 과정에서는 고정된 단계 수(T)를 사용하며, T=4일 경우 평균적으로 5.84회의 클릭이 필요하다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 다각형으로 객체 윤곽을 예측함으로써 주석 처리 시간을 크게 줄일 수 있는가?
• RQ2 Polygon-RNN의 주석 품질은 IoU 일치도 측면에서 인간 주석자와 비교해 어떻게 되는가?
• RQ3 Cityscapes에서 훈련된 모델이 KITTI와 같은 다른 데이터셋으로 얼마나 잘 일반화되는가?
• RQ4 예측된 꼭짓점의 상호작용 수정이 최소한의 사용자 입력으로도 세그멘테이션 정확도를 향상시킬 수 있는가?

주요 결과

• Polygon-RNN은 Cityscapes 전 클래스에서 주석 처리 시간을 4.74배 감소시키며, T=4일 경우 평균적으로 5.84회의 클릭이 필요하다.
• Cityscapes에서 정답과의 IoU 일치도는 78.4%를 달성하여 일반적으로 인간 주석자 간 일치도와 동일하다.
• 특히 차량에 대해서는 T=4일 경우 7.3배의 속도 향상과 함께 82.2%의 IoU 일치도를 달성한다.
• 예측되지 않은 KITTI 데이터셋에서는 평균적으로 5.84회의 클릭이 필요하고, IoU는 84.11%를 기록하여 완전 자동 기반 모델보다 뛰어난 성능을 보였다.
• 모델은 새로운 데이터셋으로의 일반화 능력이 뛰어나 객체의 외관과 크기 변화가 있는 도메인 이동 상황에서도 강건함을 입증했다.
• 수정 없이도(T=0) IoU는 74.22%를 기록하여 강력한 기본 성능을 보였다.