[논문 리뷰] Stroke-based sketched symbol reconstruction and segmentation

Kurmanbek Kaiyrbekov, Tevfik Metin Sezgin|arXiv (Cornell University)|2019. 01. 10.

Human Pose and Action Recognition참고 문헌 30인용 수 5

한 줄 요약

이 논문은 스케치된 기호를 의미적으로 유의미한 구성 요소로 분할하기 위해 스트로크 기반 변동형 오토인코더(stroke-rnn)의 고정된 인코더와 분류를 위한 다층 퍼셉트론(MLP)을 사용하는 스트로크 수준의 신경망 프레임워크를 제안한다. 이 방법은 새로 구성된 대규모 데이터셋과 기존 벤치마크에서 최신 기술 수준의 분할 정확도를 달성하며, 최고의 베이스라인 대비 평균 8.1%의 정확도 향상과 이전 방법 대비 2.4% 향상을 기록한다.

ABSTRACT

Hand-drawn objects usually consist of multiple semantically meaningful parts. For example, a stick figure consists of a head, a torso, and pairs of legs and arms. Efficient and accurate identification of these subparts promises to significantly improve algorithms for stylization, deformation, morphing and animation of 2D drawings. In this paper, we propose a neural network model that segments symbols into stroke-level components. Our segmentation framework has two main elements: a fixed feature extractor and a Multilayer Perceptron (MLP) network that identifies a component based on the feature. As the feature extractor we utilize an encoder of a stroke-rnn, which is our newly proposed generative Variational Auto-Encoder (VAE) model that reconstructs symbols on a stroke by stroke basis. Experiments show that a single encoder could be reused for segmenting multiple categories of sketched symbols with negligible effects on segmentation accuracies. Our segmentation scores surpass existing methodologies on an available small state of the art dataset. Moreover, extensive evaluations on our newly annotated big dataset demonstrate that our framework obtains significantly better accuracies as compared to baseline models. We release the dataset to the community.

연구 동기 및 목표

• 스타일링, 애니메이션, 스케치 이해와 같은 분야에서 손으로 그린 기호를 의미적으로 의미 있는 구성 요소로 분할하는 문제를 해결하기 위해.
• 단일 스트로크 수준 훈련 세트로부터 다양한 객체 유형을 재구성할 수 있는 생성 모델을 개발하여 기호 유형 간 이식성이 가능하도록 하기 위해.
• 강력한 분할 모델 평가를 지원하기 위해 구성 요소 수준 레이블이 부여된 종합적이고 대규모의 애너테이션된 스케치 기호 데이터셋을 구축하기 위해.
• 스트로크 수준 재구성 모델에서 사전 훈련된 고정된 특징을 활용하여 기존 분할 베이스라인 모델을 초월하기 위해.

제안 방법

• 양방향 RNN 인코더와 자동회귀 디코더를 사용하여 벡터화된 스케치에서 개별 스트로크를 재구성하는 데 목적이 있는 생성적 VAE로서 스트로크-rnn 모델을 훈련한다.
• 스트로크-rnn의 인코더를 고정된 특징 추출기로 사용하여 각 스트로크의 형태, 위치, 윤곽 정보를 코딩한 잠재 벡터를 생성한다.
• 이러한 고정된 특징을 기반으로 다층 퍼셉트론(MLP)을 훈련하여 각 스트로크를 해당 의미적 구성 요소(예: 머리, 팔, 바퀴)로 분류한다.
• 프레임워크는 황 등이 제시한 기존 벤치마크 데이터셋과 5개 카테고리에 걸쳐 500개의 스케치로 구성된 새로 애너테이션된 데이터셋을 사용하여 평가된다.
• 다양한 기호 유형 간에 동일한 인코더를 재사용하더라도 정확도 저하가 최소한이 되어 효율적인 전이 학습이 가능하다.
• 비교를 위해 IDM 특징을 사용하는 SVM 기반 분할 모델을 도입하여 제안된 딥러닝 접근법의 우수성을 입증한다.

실험 결과

연구 질문

• RQ1 일관된 스트로크 수준의 VAE 인코더가 성능 저하를 최소화하면서도 여러 기호 유형 간에 구성 요소 분할에 효과적으로 재사용될 수 있는가?
• RQ2 생성적 재구성 모델에서 유도된 특징만을 기반으로 하는 신경망 분류기가 전통적인 수작업 특징 방법보다 기호 분할에서 우월한 성능을 내는가?
• RQ3 생성 모델과 분류 헤드 양쪽에 대해 훈련 세트 크기가 증가함에 따라 모델 성능은 어떻게 변화하는가?
• RQ4 활동 학습이나 전략적 샘플링을 사용할 경우, 소수의 애너테이션된 스케치로도 높은 분할 정확도를 달성할 수 있는가?

주요 결과

• 제안된 신경망 모델은 저자들이 새로 애너테이션한 데이터셋에서 최고의 베이스라인 SVM 기반 모델 대비 평균 8.1%의 정확도 향상을 기록한다.
• 황 등이 제시한 벤치마크 데이터셋에서, 이전 최고 기술 수준의 방법 대비 평균 2.4%의 정확도 향상을 달성한다.
• 동일한 인코더를 다양한 기호 유형 간에 재사용하더라도 분할 성능이 안정적이고 높게 유지되어 강력한 이식성(transferability)을 입증한다.
• 10개에서 200개의 스케치로 훈련 세트 크기가 증가함에 따라 분할 정확도가 지속적으로 향상되며, 이후에는 성능 향상 폭이 감소하여 포화점에 도달함을 보여준다.
• 단지 500개의 기호로 훈련된 인코더가 최적의 성능을 달성함을 통해 고품질의 스트로크 수준 표현을 효율적으로 학습할 수 있음을 시사한다.
• 다양한 카테고리에 걸쳐 단일 사전 훈련된 인코더를 재사용함으로써 분할 네트워크의 훈련 시간을 크게 줄일 수 있다.