[논문 리뷰] Deep Local Binary Patterns

Kelwin Fernandes, Jaime S. Cardoso|arXiv (Cornell University)|2017. 11. 17.

Image Retrieval and Classification Techniques참고 문헌 32인용 수 9

한 줄 요약

이 논문은 전통적인 국소 이진 패턴(LBP)의 확장으로, 계층적 고수준 특징을 캡처하기 위해 학습 가능한 데이터 기반 이진화 규칙을 통해 LBP를 반복적으로 적용하는 새로운 방법인 딥 로컬 이진 패턴(Deep LBP)을 제안한다. 매개변수화된 LBP 연산자를 통해 순차적인 추상화 수준을 가능하게 함으로써, 다양한 데이터셋에서 표준 LBP 및 다중 척도 LBP를 능가하는 분류 성능을 달성한다. 특히 유사도 학습을 위한 주성분 분석(PCA) 기반 임bedding을 사용할 경우 최고의 성능을 기록한다.

ABSTRACT

Local Binary Pattern (LBP) is a traditional descriptor for texture analysis that gained attention in the last decade. Being robust to several properties such as invariance to illumination translation and scaling, LBPs achieved state-of-the-art results in several applications. However, LBPs are not able to capture high-level features from the image, merely encoding features with low abstraction levels. In this work, we propose Deep LBP, which borrow ideas from the deep learning community to improve LBP expressiveness. By using parametrized data-driven LBP, we enable successive applications of the LBP operators with increasing abstraction levels. We validate the relevance of the proposed idea in several datasets from a wide range of applications. Deep LBP improved the performance of traditional and multiscale LBP in all cases.

연구 동기 및 목표

• 기존 LBP가 고정된 저수준 인코딩을 사용함으로써 고수준 추상적 이미지 특징을 캡처하는 데 한계를 가진다는 점을 해결하기 위해.
• 특히 계층적 특징 학습 개념을 전통적인 텍스처 기반 기술인 LBP에 통합하기 위해.
• 적응형 데이터 기반 이진화 함수를 통해 LBP 연산자의 반복 적용을 가능하게 하여 LBP의 분류 성능 향상시키기 위해.
• 두 가지 학습 철학을 탐색하기 위해: 응용 분야에 맞는 특화된 LBP 규칙 학습을 위한 유사도 기반 순서 정렬 및 고차원 임베딩.
• 다양한 데이터셋(텍스처 분류, 얼굴 인식, 객체 탐지 포함)에서 제안된 방법의 유효성 검증을 위해.

제안 방법

• 각 층이 이전 층의 출력에 대해 LBP를 적용하는 방식으로 LBP 연산자를 반복 적용함으로써 계층적 특징 추상화를 가능하게 한다.
• 사용자가 정의한 유사도 지표를 기반으로 학습되는, LBP 코드 간 순서 관계를 정의하는 매개변수화된 이진화 함수를 도입한다.
• LBP 코드를 고차원 임베딩 공간에 표현하여, 변환된 공간에서 직접 순서 규칙을 학습할 수 있도록 한다.
• 임베딩 공간 내에서 분류 성능를 유지하면서 차원을 감소시키기 위해 주성분 분석(PCA) 기반 투영을 사용한다.
• 이중 단계 학습 전략을 적용한다: 먼저 유사도 기반 순서 함수를 학습하고, 이후 훈련 데이터를 사용해 임베딩을 보정한다.
• 다중 블록 LBP 히스토그램과 딥 스태킹을 조합하여 국소 특징을 공간 영역 전체에 걸쳐 통합함으로써 글로벌 표현을 강화한다.

실험 결과

연구 질문

• RQ1 학습 가능한 이진화 규칙을 갖춘 LBP의 반복적 적용이 기존 LBP를 초월해 특징 추상화를 향상시킬 수 있는가?
• RQ2 유사도 지표를 통해 LBP 코드 간 순서 관계를 학습할 경우 분류 성능에 어떤 영향을 미치는가?
• RQ3 학습된 순서를 갖는 고차원 공간으로 LBP 코드를 투영하면 직접적인 유사도 학습보다 분류 성능이 향상되는가?
• RQ4 딥 LBP가 다양한 컴퓨터 비전 작업에서 표준 LBP, 다중 척도 LBP, LBPNet 유사 기법을 얼마나 뛰어나게 성능을 높이는가?
• RQ5 제안된 방법은 빛의 강도 및 회전에 대해 강건성을 유지하면서도 고수준 특징 표현을 달성할 수 있는가?

주요 결과

• Kylberg 텍스처 데이터셋에서 딥 LBP는 PCA 기반 임베딩을 사용해 정확도를 99.55%까지 향상시켰으며, 얕은 LBP의 97.57%를 뛰어넘었다.
• 102 Flowers 데이터셋에서 딥 LBP는 PCA를 적용해 오류율을 8.80%로 낮혔고, 얕은 LBP의 12.79% 및 LBPNet의 22.30%를 모두 상회했다.
• Caltech 101 데이터셋에서 딥 LBP는 PCA를 사용해 오류율을 얕은 LBP의 41.03%에서 45.14%로 낮혔으며, 다중 척도 및 LBPNet 기반 베이스라인보다 일관되게 성능 향상을 보였다.
• PCA 기반 딥 LBP 변형은 모든 데이터셋에서 최고의 성능을 기록하여, 고차원 임베딩을 통한 유사도 학습의 효과를 입증했다.
• 딥 LBP는 모든 벤치마크에서 표준 LBP 및 다중 척도 LBP를 일관되게 능가하여 계층적 추상화의 유용성을 확인했다.
• 학습 가능한 규칙을 통해 깊은 특징 추상화를 추가함과 동시에 기존 LBP의 장점(예: 빛의 강도 및 회전 불변성)을 성공적으로 유지했다.