[논문 리뷰] Sequential Dual Deep Learning with Shape and Texture Features for Sketch Recognition

Qi Jia, Meiyu Yu외 2명|arXiv (Cornell University)|2017. 08. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 19인용 수 11

한 줄 요약

이 논문은 스케치 인식의 스트로크 순서 변동에 대한 강건성을 향상시키기 위해 게이트드 리커런트 유닛(GRUs)을 사용하여 형태 및 텍스처 특징을 동시에 모델링하는 순차적 이중 딥 러닝 프레임워크를 제안한다. 형태 컨텍스트 특징을 인코딩하고, Sketch-A-Net을 통해 텍스처 특징을 추출함으로써, 이 방법은 이중 GRUs와 공동 베이지안 융합을 통해 두 모odal을 융합하며, TU-Berlin 데이터셋에서 92.2%의 정확도를 달성하여 최신 기술보다 7个百分点 이상 뛰어나다.

ABSTRACT

Recognizing freehand sketches with high arbitrariness is greatly challenging. Most existing methods either ignore the geometric characteristics or treat sketches as handwritten characters with fixed structural ordering. Consequently, they can hardly yield high recognition performance even though sophisticated learning techniques are employed. In this paper, we propose a sequential deep learning strategy that combines both shape and texture features. A coded shape descriptor is exploited to characterize the geometry of sketch strokes with high flexibility, while the outputs of constitutional neural networks (CNN) are taken as the abstract texture feature. We develop dual deep networks with memorable gated recurrent units (GRUs), and sequentially feed these two types of features into the dual networks, respectively. These dual networks enable the feature fusion by another gated recurrent unit (GRU), and thus accurately recognize sketches invariant to stroke ordering. The experiments on the TU-Berlin data set show that our method outperforms the average of human and state-of-the-art algorithms even when significant shape and appearance variations occur.

연구 동기 및 목표

• 스트로크 순서 및 스케치 스타일의 높은 내부 클래스 변동성 하에서 스케치 인식의 과제를 해결하기 위해.
• 기존 방법들이 텍스처나 기하학적 특징에만 의존하거나 스트로크 순서를 간과하는 한계를 극복하기 위해.
• 순차적이고 반복적인 아키텍처에서 형태와 텍스처 특징을 함께 모델링하여 인식 정확도를 향상시키기 위해.
• 유사한 텍스처를 가졌지만 기하학적으로 다른 스케치를 구분하는 데 형태 특징의 효과를 검증하기 위해.
• 시간 단계에 걸쳐 특징을 적응적으로 가중하는 데서 공동 베이지안 융합의 우수성을 입증하기 위해.

제안 방법

• 각 스케치를 스트로크 그룹 5개로 나누어 그림의 시간적 진행을 모델링한다.
• 기하학적 구조를 표현하기 위해 인코딩된 형태 컨텍스트 특징을 추출하고, 사전 학습된 Sketch-A-Net을 사용해 깊이 텍스처 특징을 추출한다.
• 두 개의 별도된 게이트드 리커런트 네트워크(GRUs)가 텍스처 및 형태 특징을 독립적으로 처리하여 모odal 특수 표현을 유지한다.
• 각 시간 단계에서 두 GRU의 출력을 연결하여 셸프 모달 특징 융합을 위한 제3의 GRU에 입력한다.
• 공동 베이지안 융합을 적용하여 시간 단계에 걸쳐 특징에 동적 가중치를 할당함으로써 분류의 판별 능력을 향상시킨다.
• 스케치 분류를 위해 최종 융합된 특징에 대해 서브풀링을 적용한다.

실험 결과

연구 질문

• RQ1 이중 순차적 학습 프레임워크를 통해 형태 및 텍스처 특징을 융합하면 스케치 인식 정확도가 향상되는가?
• RQ2 코딩된 형태 컨텍스트 특징의 사용이 유사한 텍스처를 가졌지만 기하학적으로 다른 스케치를 구분하는 데 얼마나 효과적인가?
• RQ3 개별 스트로크가 아닌 스트로크 그룹을 모델링하는 것이 스트로크 순서 변동에 대한 민감도를 얼마나 줄이는가?
• RQ4 공동 베이지안 융합이 시간 단계에 걸쳐 특징을 적응적으로 가중시켜 분류 성능을 향상시키는가?
• RQ5 제안된 방법이 TU-Berlin 벤치마크에서 인간 수준의 성능과 최신 기술을 모두 능가하는가?

주요 결과

• 제안된 방법은 TU-Berlin 데이터셋에서 92.2%의 인식 정확도를 달성하여 최신 기술보다 7个百分点 이상 뛰어나다.
• 형태 특징이 없는 방법은 모든 쿼리 스케치에서 실패하지만, 형태 특징이 포함된 방법은 모든 쿼리를 정확히 분류하여 형태가 유사한 텍스처를 구분하는 데 핵심적인 역할을 한다는 것을 입증한다.
• 공동 베이지안 융합을 적용함으로써 인식 정확도가 소프트맥스만 사용한 경우 88.2%에서 92.2%로 향상되어 시간 단계에 걸친 특징 가중치 할당의 효과를 확인한다.
• 비슷한 텍스처를 가졌지만 형태가 다른 경우, 예를 들어 비둘기의 부리와 펠리카의 부리를 정확히 구분할 수 있다.
• 공동 베이지안 융합 없이도 형태 특징의 포함으로 정확한 분류가 가능하여 형태 특징의 독립적인 판별 능력을 증명한다.
• 이 방법은 TU-Berlin 데이터셋에서 평균 인간 인식 정확도 73%를 초월하는 성능을 달성한다.