[논문 리뷰] Matching-CNN Meets KNN: Quasi-Parametric Human Parsing

Si Liu, Xiaodan Liang외 7명|arXiv (Cornell University)|2015. 04. 06.

Advanced Neural Network Applications참고 문헌 28인용 수 24

한 줄 요약

이 논문은 수작업으로 애너테이션된 코퍼스에서 테스트 이미지와 K-가장 가까운 이웃(KNN) 이미지 간의 매칭 신뢰도와 이격도를 예측하기 위해 Matching-CNN(M-CNN)를 사용하는 준-파rametric한 인간 파싱 프레임워크를 제안한다. 이 방법은 엔드 투 엔드 학습과 슈퍼픽셀 기반 레이블 융합을 통해 7,700장의 이미지 데이터셋에서 63.58%의 F1 스코어를 기록하며 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Both parametric and non-parametric approaches have demonstrated encouraging performances in the human parsing task, namely segmenting a human image into several semantic regions (e.g., hat, bag, left arm, face). In this work, we aim to develop a new solution with the advantages of both methodologies, namely supervision from annotated data and the flexibility to use newly annotated (possibly uncommon) images, and present a quasi-parametric human parsing model. Under the classic K Nearest Neighbor (KNN)-based nonparametric framework, the parametric Matching Convolutional Neural Network (M-CNN) is proposed to predict the matching confidence and displacements of the best matched region in the testing image for a particular semantic region in one KNN image. Given a testing image, we first retrieve its KNN images from the annotated/manually-parsed human image corpus. Then each semantic region in each KNN image is matched with confidence to the testing image using M-CNN, and the matched regions from all KNN images are further fused, followed by a superpixel smoothing procedure to obtain the ultimate human parsing result. The M-CNN differs from the classic CNN in that the tailored cross image matching filters are introduced to characterize the matching between the testing image and the semantic region of a KNN image. The cross image matching filters are defined at different convolutional layers, each aiming to capture a particular range of displacements. Comprehensive evaluations over a large dataset with 7,700 annotated human images well demonstrate the significant performance gain from the quasi-parametric model over the state-of-the-arts, for the human parsing task.

연구 동기 및 목표

• 새로운 레이블을 위해 재학습이 필요한 순수 파라메트릭 모델의 한계와, 약한 매칭 신호로 인해 유연성이 떨어지는 비파라메트릭 방법의 한계를 해결하기 위해.
• 애너테이션된 데이터로부터의 지도 학습을 활용하면서도 새로운 의미적 레이블과 이미지로의 확장이 용이한 통합 프레임워크를 개발하기 위해.
• 다양한 공간적 이격 범위를 모델링하기 위해 교차 이미지 컨볼루션 필터를 사용하여 테스트 이미지와 KNN 영역 간의 매칭 신뢰도를 향상시키기 위해.
• 자세 추정 및 과도한 세그멘테이션에 대한 의존도를 줄이기 위해 직접 레이블 전이를 수행하는 엔드 투 엔드 딥 러닝 접근법을 사용하기 위해.

제안 방법

• 프레임워크는 이미지 수준의 특징을 기반으로 수작업으로 파싱된 인간 이미지 코퍼스에서 KNN 이미지를 검색한다.
• 각 KNN 이미지에 대해, 테스트 이미지와 각 의미적 영역을 쌍으로 묶고, 이 쌍을 Matching-CNN(M-CNN)에 입력하여 매칭 신뢰도와 4차원 공간적 이격도를 예측한다.
• M-CNN는 계층적 특징 학습을 위한 두 개의 단일 이미지 컨볼루션 경로와, 다중 컨볼루션 레이어에서의 상호 이미지 매칭을 모델링하기 위한 전용 필터를 갖춘 교차 이미지 컨볼루션 경로를 사용한다.
• 교차 이미지 매칭 필터는 Conv2, Conv3, Conv4, Conv5 레이어에 삽입되어 다양한 공간 척도와 이격 범위에서 매칭을 캡처한다.
• 예측된 신뢰도와 이격도를 바탕으로 모든 KNN 영역의 레이블 맵을 테스트 이미지로 전이한 후, 의미적 레이블 별 확률 맵으로 융합한다.
• 슈퍼픽셀 기반의 스무딩 단계는 최종 파싱 결과를 개선하여 경계 유지와 분할 최소화를 도모한다.

실험 결과

연구 질문

• RQ1 하이브리드 준-파라메트릭 프레임워크는 인간 파싱에서 파라메트릭 및 비파라메트릭 방법의 장점을 효과적으로 융합할 수 있는가?
• RQ2 딥 러닝 기반 매칭 네트워크(M-CNN)는 전통적인 특징 기반 매칭보다 정확도와 강건성 면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ3 다중 컨볼루션 레이어에 교차 이미지 매칭 필터를 삽입하는 것이 단일 레이어 또는 무교차 레이어 설계에 비해 매칭 성능을 향상시키는가?
• RQ4 자세 변화가 있을 경우나 소규모 또는 희귀 의미적 영역에서 제안된 방법의 성능은 어떠한가?
• RQ5 모델 전체를 재학습하지 않고도 새로운 의미적 레이블에 쉽게 확장할 수 있는가?

주요 결과

• 제안된 M-CNN는 9개의 KNN 이미지를 사용할 경우 최고의 F1 스코어 63.58%를 기록하며, 최신 기술 수준의 방법들을 크게 능가한다.
• 모델은 자세 변화에 강건성을 보이며, 자세 추정이 정확하지 않거나 존재하지 않을 경우에도 왼쪽 및 오른쪽 팔을 정확히 세그멘테이션할 수 있다.
• 기존의 기준 방법인 PaperDoll에 비해 작은 의미적 영역(가방, 스카프, 선글라스 등)을 성공적으로 탐지하고 세그멘테이션할 수 있다.
• 제거 실험 결과, 교차 이미지 매칭 필터를 제거하면 F1 스코어가 62.81%에서 61.53%로 감소하여, 의미 수준의 매칭을 캡처하는 데 필터의 중요성을 확인한다.
• 슈퍼픽셀 스무딩은 경계 품질을 향상시키며, 심지어 이 스무딩 단계가 없더라도 M-CNN 자체만으로도 기존 최신 기술 수준의 방법보다 뛰어난 성능을 보여, 강력한 내재적 레이블 예측 능력을 입증한다.
• 첫 번째 컨볼루션 레이어에 교차 이미지 필터를 삽입하면 수용장이 작아 성능 저하가 발생하지만, 더 깊은 레이어에서는 더 큰 수용장 덕분에 더 나은 성능을 기록한다.