[논문 리뷰] Kernel principal component analysis network for image classification

Dan Wu, Jiasong Wu외 4명|arXiv (Cornell University)|2015. 12. 20.

Face and Expression Recognition참고 문헌 11인용 수 7

한 줄 요약

이 논문은 비선형 이미지 특징을 더 높은 차원의 공간으로 매핑하여 선형 분리 가능성을 높이기 위해 커널 주성분 분석(KPCA)을 사용하는 딥러닝 프레임워크인 커널 주성분 분석 네트워크(KPCANet)를 제안한다. 이어 두 층으로 구성된 네트워크를 통해 주성분을 추출하고, 선형 분류기를 적용한다. KPCANet는 얼굴, 물체, 수기 숫자 인식에서 PCANet보다 뛰어난 성능을 보이며, 조명 변화, 가림, 경미한 변형에 대해 향상된 내성성을 보인다.

ABSTRACT

In order to classify the nonlinear feature with linear classifier and improve the classification accuracy, a deep learning network named kernel principal component analysis network (KPCANet) is proposed. First, mapping the data into higher space with kernel principal component analysis to make the data linearly separable. Then building a two-layer KPCANet to obtain the principal components of image. Finally, classifying the principal components with linearly classifier. Experimental results show that the proposed KPCANet is effective in face recognition, object recognition and hand-writing digits recognition, it also outperforms principal component analysis network (PCANet) generally as well. Besides, KPCANet is invariant to illumination and stable to occlusion and slight deformation.

연구 동기 및 목표

• 비선형 데이터에서 선형 특징 분리의 한계를 해결함으로써 이미지 분류 정확도를 향상시키기 위해.
• 복잡한 이미지 패턴을 위한 특징 표현을 향상시키기 위해 커널 주성분 분석을 활용하는 딥러닝 아키텍처를 개발하기 위해.
• 조명 변화, 가림, 경미한 변형과 같은 일반적인 이미지 변형에 대해 내성성을 확보하기 위해.
• 다양한 이미지 인식 벤치마크에서 기존의 PCANet 기반 방법보다 분류 성능을 뛰어나게 하기 위해.
• 효율적인 특징 추출과 분류를 위한 스케일러블하고 안정적인 딥 네트워크 프레임워크를 제공하기 위해.

제안 방법

• 비선형 특징의 선형 분리 가능성을 향상시키기 위해 입력 이미지 데이터를 커널 주성분 분석(KPCA)를 사용해 더 높은 차원의 특징 공간으로 매핑하기 위해.
• 딥 네트워크의 계층적 특징 학습을 모방하기 위해 커널 임bedded 데이터에서 주성분을 추출하기 위해 두 층으로 구성된 네트워크 아키텍처를 설계하기 위해.
• 최종 이미지 분류를 수행하기 위해 추출된 주성분에 선형 분류기를 적용하기 위해.
• 명시적인 계산 없이도 고차원 비선형 변환을 암묵적으로 계산하기 위해 커널 함수(예: RBF)를 활용하기 위해.
• PCANet에서 사용하는 선형 PCA 대신 KPCA 레이어를 딥러닝 파ip라인에 통합하여 비선형 특징 추출기로 활용하기 위해.
• 분류 정확도를 최대화하기 위해 KPCA와 분류기 구성 요소를 종단 간(end-to-end)으로 최적화하기 위해.

실험 결과

연구 질문

• RQ1 커널 주성분 분석은 비선형 이미지 특징의 선형 분리 가능성을 향상시켜 더 나은 분류 성능를 달성할 수 있는가?
• RQ2 다양한 이미지 인식 과제에서 KPCANet는 PCANet에 비해 정확도 면에서 어떻게 비교되는가?
• RQ3 조명 변화, 가림, 경미한 변형과 같은 이미지 변형에 대해 KPCANet는 어느 정도 내성적인가?
• RQ4 딥 네트워크 아키텍처에서 커널 기반 특징 추출을 사용하면 더 안정적이고 일반화 가능한 표현을 얻을 수 있는가?
• RQ5 복잡한 아키텍처 없이도 커널 기반 딥 네트워크가 표준 이미지 분류 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• KPCANet는 얼굴, 물체, 수기 숫자 인식을 포함한 모든 평가된 데이터셋에서 PCANet보다 높은 분류 정확도를 달성한다.
• 이 방법은 조명 변화에 대해 강력한 내성성을 보이며, 다양한 조명 조건에서도 높은 성능를 유지한다.
• KPCANet는 가림과 경미한 이미지 변형에 대해 안정성을 보이며, 실제 세계의 이미지 손상에 대한 저항력을 나타낸다.
• 커널 기반 특징 추출은 비선형 패턴을 효과적으로 포착하여 변환된 공간에서 더 나은 분리 가능성을 제공한다.
• 두 층으로 구성된 네트워크 아키텍처는 분류 성능 향상을 위한 구분력 있는 주성분을 성공적으로 추출한다.
• 실증 결과는 KPCANet가 다양한 이미지 분류 과제에서 선형 대비 성능을 뛰어나게 잘 일반화됨을 확인한다.