[논문 리뷰] Exploiting Structure Sparsity for Covariance-based Visual Representation

Jianjia Zhang, Lei Wang외 2명|arXiv (Cornell University)|2016. 10. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 22인용 수 4

한 줄 요약

이 논문은 뼈대 인간 동작 인식에서의 구조적 희소성 특성을 활용하는 새로운 공분산 기반 시각적 표현인 희소 역공분산 추정(SICE)을 제안하며, 최신 기법들보다 성능을 크게 향상시킨다. SICE의 단조성(monotonicity)을 활용해 다양한 희소 수준에서 표현의 계층적 계층을 생성하고, 적응형 학습을 통해 통합함으로써 비선형 커널 기법을 사용하지 않더라도 뛰어난 정확도를 달성한다.

ABSTRACT

The past few years have witnessed increasing research interest on covariance-based feature representation. A variety of methods have been proposed to boost its efficacy, with some recent ones resorting to nonlinear kernel technique. Noting that the essence of this feature representation is to characterise the underlying structure of visual features, this paper argues that an equally, if not more, important approach to boosting its efficacy shall be to improve the quality of this characterisation. Following this idea, we propose to exploit the structure sparsity of visual features in skeletal human action recognition, and compute sparse inverse covariance estimate (SICE) as feature representation. We discuss the advantage of this new representation on dealing with small sample, high dimensionality, and modelling capability. Furthermore, utilising the monotonicity property of SICE, we efficiently generate a hierarchy of SICE matrices to characterise the structure of visual features at different sparsity levels, and two discriminative learning algorithms are then developed to adaptively integrate them to perform recognition. As demonstrated by extensive experiments, the proposed representation leads to significantly improved recognition performance over the state-of-the-art comparable methods. In particular, as a method fully based on linear technique, it is comparable or even better than those employing nonlinear kernel technique. This result well demonstrates the value of exploiting structure sparsity for covariance-based feature representation.

연구 동기 및 목표

• 단순히 추정의 안정성에만 초점을 맞추기보다는, 기본적인 특징 구조의 정확한 특성화에 초점을 맞춰 공분산 기반 시각적 표현의 품질을 향상시키는 것.
• 뼈대 인간 동작 인식 및 의료 영상에서 흔히 발생하는 소수의 샘플과 고차원 특징 문제를 해결하는 것.
• 특히 인간 뼈대 데이터에서 잘 알려진 특징의 구조적 희소성을 활용하기 위해 희소 역공분산 추정(SICE)을 사용하는 것.
• 다양한 희소 수준에서 생성된 다수의 SICE 행렬을 적응형으로 통합하여 분류 성능을 향상시키는 방법을 개발하는 것.
• 비선형 커널 기반 접근 방식과 경쟁하거나 그에 못지않는 성능을 내는 선형 기법이 구조적 희소성의 특성을 효과적으로 활용할 수 있음을 입증하는 것.

제안 방법

• 표준 공분산 행렬보다 특징 구조를 더 효과적으로 모델링할 수 있도록 희소 역공분산 추정(SICE)을 핵심 단위로 사용하는 새로운 시각적 표현인 SICE-RP를 제안한다.
• SICE의 단조성 성질을 활용해 다양한 희소 수준에서 SICE 행렬의 계층적 계층을 효율적으로 생성함으로써, 다양한 해상도의 구조적 관계를 포착한다.
• 표본 간 유사도 측정 성능을 향상시키기 위해 계층적 SICE 행렬을 적응형으로 통합하는 두 가지 분류 기반 학습 알고리즘(SICE-RP β 및 SICE-RP M)을 개발한다.
• 고차원, 소수 샘플 환경에서 추정의 불안정성을 줄이고 희소성을 촉진하기 위해 그룹 라소 기반 최적화 프레임워크를 사용해 SICE를 계산한다.
• 표현을 뼈대 동작 인식과 fMRI 기반 ADHD 분류에 적용하여 도메인 간 일반화 능력을 검증한다.
• 계층적 SICE 행렬을 통합하기 위해 다중 커널 학습 전략(SICE-RP M)과 β-가중 융합(SICE-RP β)을 활용하여 분류 성능를 향상시킨다.

실험 결과

연구 질문

• RQ1 시각적 특징에서의 구조적 희소성을 활용하면, 소수 샘플, 고차원 환경에서 더 강건하고 정확한 공분산 기반 표현을 얻을 수 있는가?
• RQ2 SICE-RP는 뼈대 인간 동작 인식에서 표준 공분산 기반 표현 및 비선형 커널 기반 방법보다 우월한가?
• RQ3 다양한 희소 수준에서 생성된 SICE 행렬의 계층적 구조를 효과적으로 통합하면 인식 성능가 향상되는가?
• RQ4 제안된 방법은 의료 영상 분석과 같은 고차원, 소수 샘플 문제에 일반화 가능한가?
• RQ5 적응형 통합을 통해 최적의 희소 수준을 수동으로 선택할 필요 없이 성능 향상을 달성할 수 있는가?

주요 결과

• MSRC-12에서 SICE-RP는 93.3%의 정확도를 기록하여 비선형 커널 기법을 사용한 최고 보고 결과인 93.1%를 초월한다.
• HDM05(100개 클래스)에서 SICE-RP β는 69.3%의 정확도를 달성하여 MKL의 66.5%와 EMK의 68.6%를 모두 뛰어넘는다.
• ADHD-200 fMRI 데이터셋에서 SICE-RP M은 73.2%의 정확도를 기록하며, 기존 최고 성능인 69.6%를 초월하고, Cov-RP(55.8%)와 Ker-RP-RBF(60.0% 미만)보다도 뛰어나다.
• SICE-RP M과 SICE-RP β를 통한 다수의 SICE 행렬 통합은 모든 데이터셋에서 성능 향상을 일관되게 보이며, 계층적 표현의 유용성을 입증한다.
• 비선형 커널 기반 방법과 경쟁하거나 그에 못지않는 성능을 내는 데에 선형 기법만을 사용함으로써, 구조적 희소성의 활용이 가치가 있음을 입증한다.
• 저차원, 고표본 작업에 대해서도 잘 일반화되어, 이 표현 방식이 일반 목적의 표현으로서 강건성과 안정성을 확보하고 있음을 확인한다.