[논문 리뷰] Shape Recognition by Bag of Skeleton-associated Contour Parts

Wei Shen, Yuan Jiang외 3명|arXiv (Cornell University)|2016. 05. 20.

Image Retrieval and Classification Techniques참고 문헌 35인용 수 4

한 줄 요약

이 논문은 윤곽선과 뼈대 정보를 뼈대 두께를 윤곽선 조각과 연관지켜 융합하는 새로운 형태 기술자인 뼈대 연관형 모양 컨텍스트(Skeleton-associated Shape Context, SSC)를 제안한다. 형태 컨텍스트에 두께 차이 차원을 추가함으로써 보완적인 기하적 특징을 캡처하고, Bag of Features 프레임워크와 선형 SVM을 결합함으로써 표준 형태 벤치마크에서 최신 기술 수준의 성능을 달성한다. 특히 두께 박자 5개와 기준점 5개로 구성된 최적 설정에서 뛰어난 성능을 발휘한다.

ABSTRACT

Contour and skeleton are two complementary representations for shape recognition. However combining them in a principal way is nontrivial, as they are generally abstracted by different structures (closed string vs graph), respectively. This paper aims at addressing the shape recognition problem by combining contour and skeleton according to the correspondence between them. The correspondence provides a straightforward way to associate skeletal information with a shape contour. More specifically, we propose a new shape descriptor. named Skeleton-associated Shape Context (SSC), which captures the features of a contour fragment associated with skeletal information. Benefited from the association, the proposed shape descriptor provides the complementary geometric information from both contour and skeleton parts, including the spatial distribution and the thickness change along the shape part. To form a meaningful shape feature vector for an overall shape, the Bag of Features framework is applied to the SSC descriptors extracted from it. Finally, the shape feature vector is fed into a linear SVM classifier to recognize the shape. The encouraging experimental results demonstrate that the proposed way to combine contour and skeleton is effective for shape recognition, which achieves the state-of-the-art performances on several standard shape benchmarks.

연구 동기 및 목표

• 윤곽선과 뼈대 표현을 체계적으로 융합하는 문제를 해결하기 위해, 이들은 서로 다른 구조(폐쇄된 스트링 대비 그래프)로 추상화되기 때문이다.
• 윤곽선 점과 뼈대 점 사이의 자연스러운 대응 관계를 활용하여 두께와 같은 기하적 특징을 윤곽선 조각과 연관지어 보다 정교한 기술자를 만들기 위해.
• 공간 분포와 형태 부위의 두께 변화를 모두 캡처하는 더 정보가 풍부하고 구분력 있는 형태 기술자를 개발하기 위해.
• 회전에 대한 불변성을 유지하면서 윤곽선과 뼈대 특징을 통합하는 통합 프레임워크를 통해 형태 인식 성능을 향상시키기 위해.
• 표준 형태 데이터셋에서 강건하고 파rameter 최적화된 방법을 통해 최신 기술 수준의 분류 정확도를 달성하기 위해.

제안 방법

• 형태 컨텍스트에 뼈대 반경 정보를 사용해 두께 차이를 인코딩하는 제3의 차원을 추가한 새로운 저수준 기술자인 뼈대 연관형 모양 컨텍스트(SSC)를 제안한다.
• 각 윤곽선 조각에 대해 두께 변화 기반으로 부분을 정의하고, 유클리드 거리, 방향, 두께 차이를 인코딩하는 3차원 텐서를 사용해 각 부분에 대해 SSC 기술자를 계산한다.
• 회전 불변성을 확보하기 위해 정규화 단계를 적용하고, 다중 스케일에서 특징을 집계하기 위해 공간 피라미드 매칭(Spatial Pyramid Matching, SPM)을 사용한다.
• 학습된 코드북을 사용해 SSC 기술자에서 추출한 특징을 기반으로 전역 형태 특징 벡터를 구성하기 위해 Bag of Features 프레임워크를 적용한다.
• 최종 특징 벡터를 기반으로 선형 SVM 분류기를 훈련시켜 형태 분류를 수행한다.
• Animal 데이터셋에서의 분석 실험을 통해 핵심 파라미터(예: 두께 박자 수, 기준점 수, 코드북 크기)를 최적화한다.

실험 결과

연구 질문

• RQ1 윤곽선과 뼈대 사이의 자연스러운 대응 관계를 활용해 둘의 표현을 융합한 더 정보가 풍부한 형태 기술자를 만들 수 있는가?
• RQ2 윤곽선과 뼈대 특징을 부분 수준에서 어떻게 통합하여 구분력을 향상시키면서도 회전에 대한 불변성을 유지할 수 있는가?
• RQ3 최적의 성능을 내기 위해 두께 박자 수와 기준점 수 등의 파라미터 설정은 어떻게 해야 하는가?
• RQ4 제안된 방법이 표준 형태 인식 벤치마크에서 최신 기술 수준의 성능을 달성하는가?
• RQ5 왜 일부 MPEG-7 클래스, 예를 들어 'device'에서는 뼈대가 신뢰할 수 없어 성능이 떨어지는가?

주요 결과

• 제안된 SSC 기술자는 Animal, Caltech-101, MPEG-7 데이터셋을 포함한 여러 표준 형태 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 두께 차이 박자 수($N_{td}$)의 최적 값은 5이며, 이는 정확도와 계산 비용 사이의 최적 균형을 이룬다. $N_{td} = 3$ 및 $N_{td} = 7$ 보다 뛰어난 성능을 보인다.
• SSC 계산에 5개의 기준점을 사용할 경우 성능과 효율성의 최적 균형을 이룬다. 기준점 수가 많아질수록 정확도는 향상되지만 계산 비용이 크게 증가한다.
• 코드북 크기의 증가는 성능에 직접적인 영향을 미치며, 500에서 3000으로 증가함에 따라 정확도가 향상되지만, 2000 이상에서는 수익 감소 현상이 관찰된다.
• MPEG-7 'device' 클래스에서는 뼈대 품질이 열 劣악하고 구조적으로 일관성이 없어 성능이 떨어지며, 이는 뼈대 신뢰성에 민감한 것을 시사한다.
• 좋은 뼈대화가 가능한 형태에 대해서는 이 방법이 강건하고 효과적이며, SSC를 통한 윤곽선과 뼈대의 융합이 형태 인식 정확도를 크게 향상시킨다는 점을 입증한다.