[논문 리뷰] Fast Interactive Object Annotation with Curve-GCN

Huan Ling, Jun Gao외 3명|arXiv (Cornell University)|2019. 03. 16.

Advanced Neural Network Applications참고 문헌 36인용 수 26

한 줄 요약

이 논문은 매개변수 곡선을 사용하여 빠르고 상호작용 가능한 객체 주석을 위한 딥러닝 모델인 Curve-GCN을 제안한다. 그래프 컬러션 네트워크를 활용하여 최소한의 사용자 입력으로 객체 경계를 예측함으로써 자동 및 상호작용 주석 모드에서 높은 정확도와 효율성을 달성하며, 정량적 및 정성적 평가에서 기준 방법들보다 뛰어난 성능을 보였다.

ABSTRACT

Manually labeling objects by tracing their boundaries is a laborious process. In Polygon-RNN++ the authors proposed Polygon-RNN that produces polygonal annotations in a recurrent manner using a CNN-RNN architecture, allowing interactive correction via humans-in-the-loop. We propose a new framework that alleviates the sequential nature of Polygon-RNN, by predicting all vertices simultaneously using a Graph Convolutional Network (GCN). Our model is trained end-to-end. It supports object annotation by either polygons or splines, facilitating labeling efficiency for both line-based and curved objects. We show that Curve-GCN outperforms all existing approaches in automatic mode, including the powerful PSP-DeepLab and is significantly more efficient in interactive mode than Polygon-RNN++. Our model runs at 29.3ms in automatic, and 2.6ms in interactive mode, making it 10x and 100x faster than Polygon-RNN++.

연구 동기 및 목표

• 상호작용 세분화 작업에서 느리고 정확도가 떨어지는 객체 주석 문제를 해결하기 위해.
• 최소한의 사용자 제공 점을 통해 빠르고 정밀한 객체 경계 주석을 가능하게 하는 방법을 개발하기 위해.
• 곡선 기반 표현과 그래프 컬러션 네트워크를 통해 상호작용 세분화 모델의 일반화 능력과 강건성을 향상시키기 위해.
• 다양한 수의 제어점과 사용자 상호작용 시나리오에서 모델 성능을 평가하기 위해.
• 사용자-중심 실험과 자체 구축된 도구를 통해 Curve-GCN의 실생활 주석 워크플로우 적용 가능성과 효과성을 입증하기 위해.

제안 방법

• 모델은 객체 경계를 정의하기 위해 매개변수 곡선 표현을 사용하여 부드럽고 미분 가능한 경계 예측을 가능하게 한다.
• 곡선의 제어점에 그래프 컬러션 네트워크(GCN)를 적용하여 공간적 및 구조적 관계를 인코딩한다.
• 사용자가 제공한 클릭 또는 스크래치 입력으로부터 최적의 곡선 파라미터를 예측하기 위해 엔드 투 엔드로 훈련된 아키텍처를 사용한다.
• 단일 클릭에서의 자동 추론과 다중 클릭 또는 스트로크를 통한 상호작용 개선을 모두 지원한다.
• 실제 인간 주석 예제를 수집하고 상호작용 환경에서 성능를 검증하기 위해 전용 주석 도구를 개발했다.
• 정확도와 효율성의 균형을 확보하기 위해 제어점 수를 다양하게 설정하여 모델을 평가했다.

실험 결과

연구 질문

• RQ1 Curve-GCN은 기준 방법과 비교해 주석 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ2 최소한의 사용자 입력으로 높은 세분화 정확도를 달성하기 위해 최적의 제어점 수는 얼마인가?
• RQ3 사용자-중심 피드백이 포함된 상호작용 주석 시나리오에서 Curve-GCN은 얼마나 효과적인가?
• RQ4 Curve-GCN은 다양한 객체 형태와 복잡한 경계에 대해 일반화 가능한가?
• RQ5 그래프 컬러션 네트워크의 통합은 표준 곡선 피팅 방법에 비해 경계 예측을 어떻게 향상시키는가?

주요 결과

• Curve-GCN은 특히 복잡한 경계 상황에서 기준 모델들보다 뛰어난 세분화 정확도를 달성한다.
• 모델은 매우 빠른 추론을 가능하게 하여 단일 클릭과 같은 최소한의 사용자 입력에서도 효율성을 유감없이 보여준다.
• 적절한 수의 제어점에서 최적의 성능을 달성하며, 정확도와 계산 비용 사이의 균형을 잘 유지한다.
• 사용자-중심 실험 결과 Curve-GCN이 주석 시간을 크게 줄이면서도 높은 정밀도를 유지함을 확인했다.
• 정성적 결과는 Curve-GCN이 다양한 데이터셋과 사용자 입력에서 매끄럽고 정확하며 현실적인 객체 경계를 생성함을 보여준다.
• 보충 자료는 여러 평가 지표에서 자동 및 상호작용 모드 모두에서 일관된 향상이 이루어졌음을 확인한다.