[논문 리뷰] When Naïve Bayes Nearest Neighbours Meet Convolutional Neural Networks

Ilja Kuzborskij, Fabio Maria Carlucci외 1명|arXiv (Cornell University)|2015. 11. 12.

Advanced Neural Network Applications참고 문헌 42인용 수 6

한 줄 요약

이 논문은 사전 훈련된 CNN에서 다중 척도 국소 패치 특징을 추출하고, 가용성 있는 변형 Naïve Bayes 비선형 학습(sNBNL)을 적용하여 컨volutional 신경망(CNN) 활성화와 Naïve Bayes 최근접이웃(NBNN) 분류기를 통합하는 프레임워크를 제안한다. 이 방법은 장면 인식 및 도메인 적응 벤치마크에서 최신 기술 수준 성능을 달성하며, CNN 특징과 확장 가능한 훈련을 통해 NBNN 기반 방법이 효과적으로 부활할 수 있음을 보여준다.

ABSTRACT

Since Convolutional Neural Networks (CNNs) have become the leading learning paradigm in visual recognition, Naive Bayes Nearest Neighbour (NBNN)-based classifiers have lost momentum in the community. This is because (1) such algorithms cannot use CNN activations as input features; (2) they cannot be used as final layer of CNN architectures for end-to-end training , and (3) they are generally not scalable and hence cannot handle big data. This paper proposes a framework that addresses all these issues, thus bringing back NBNNs on the map. We solve the first by extracting CNN activations from local patches at multiple scale levels, similarly to [1]. We address simultaneously the second and third by proposing a scalable version of Naive Bayes Non-linear Learning (NBNL, [2]). Results obtained using pre-trained CNNs on standard scene and domain adaptation databases show the strength of our approach, opening a new season for NBNNs.

연구 동기 및 목표

• 딥 러닝 시대에 NBNN 기반 분류기가 CNN 활성화를 활용하거나 대규모 데이터셋에 확장할 수 없는 한계를 해결하기 위해.
• 풀링이나 연결 없이 다중 척도에서 국소 패치 활성화를 추출하여 NBNN 방법이 CNN 특징과 함께 작동하도록 하기 위해.
• 메모리와 계산 비용을 줄이면서도 높은 예측 성능를 유지하는 NBNN 기반 모델을 위한 확장 가능한 훈련 알고리즘 개발을 위해.
• NBNN 기반 방법이 CNN 특징과 효율적인 학습 알고리즘을 조합할 경우 최신 기술 수준의 성능를 달성할 수 있음을 보여주기 위해.
• 표준 장면 인식 및 도메인 적응 벤치마크에서 이 프레임워크를 검증하여 강력한 일반화 및 전이 능력을 보여주기 위해.

제안 방법

• 풀링이나 연결 없이 다중 척도 수준(32px, 64px, 128px)에서 국소 패치에서 CNN 활성화 특징을 추출하여 NBNN 입력을 위한 국소 구조를 유지한다.
• 최대 10^7개의 특징을 처리할 수 있도록 대규모 데이터셋에 적합한 Naïve Bayes 비선형 학습(sNBNL)의 확률적 변형을 사용하여 효율적인 훈련을 가능하게 한다.
• sNBNL 내부에서 잠재적 국소 선형 SVM 프레임워크를 적용하여 비선형 결정 경계를 모델링하면서도 NBNN의 일반성을 유지한다.
• 원칙적으로 CNN 아키텍처의 엔드 투 엔드 훈련 가능한 최종 레이어로 사용될 수 있는 sNBNL의 스무딩된 버전을 활용한다.
• 특징 추출을 위해 사전 훈련된 Caffe 기반 CNN을 사용하고, 이 프레임워크를 장면 분류 및 도메인 적응 과제에 적용한다.
• 이미지 전역에 걸쳐 조밀한 패치 샘플링을 구현하고, 이를 통해 생성된 다중 척도 특징을 NBNN 기반 분류기의 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 NBNN 기반 분류기가 기존의 확장성 및 특징 호환성 문제로 인해 역사적으로 어려움을 겪었음에도 불구하고, CNN 활성화와 효과적으로 통합될 수 있는가?
• RQ2 사전 훈련된 CNN에서 추출한 다중 척도 국소 패치 특징이 풀링이나 연결 없이도 NBNN 기반 모델의 효과적인 입력이 될 수 있는가?
• RQ3 sNBNL와 같은 NBNN의 확장 가능한 변형이 대규모 데이터셋에서 메모리와 계산 비용을 줄이면서도 높은 예측 성능를 유지할 수 있는가?
• RQ4 제안된 프레임워크가 표준 장면 인식 및 도메인 적응 벤치마크에서 최신 기술 수준의 성능를 달성할 수 있는가?
• RQ5 명시적인 적응 메커니즘이 없이도 이 프레임워크가 제로샷 및 피처샷 도메인 적응 시나리오에서 잘 일반화될 수 있는가?

주요 결과

• Scene15, UIUC Sports, MIT Indoor 데이터셋에서 제안된 CNN-sNBNL 프레임워크는 단일 특징 방법 중 최신 기술 수준의 성능를 달성하며, 기존의 전통적 방법과 NBNN 기반 방법을 모두 앞서 간다.
• Office+Caltech256에서의 비지도 도메인 적응 설정에서, CNN-sNBNL는 C→A 설정에서 80.91%의 정확도를 기록하여, 학습 기반 방법을 포함한 모든 베이스라인을 초월한다.
• 반지도 도메인 적응 설정에서, CNN-sNBNL는 C→A 설정에서 85.62%의 정확도를 기록하여 새로운 최신 기술 수준을 수립하며, 전용 도메인 적응 모델조차도 앞서 간다.
• 반지도 도메인 적응 설정에서 A→W 설정에서 90.03%의 정확도를 기록하여, 최소한의 타겟 데이터로도 강력한 일반화 능력을 보여준다.
• 제안된 sNBNL 알고리즘은 10^7개 이상의 특징을 가진 데이터셋에서도 훈련이 가능하게 하여, NBNN 기반 방법이 대규모 시각 인식 과제에 실현 가능하게 한다.
• 이 프레임워크는 NBNN 기반 분류기와 CNN 특징을 성공적으로 융합한 최초의 사례로, NBNN를 시각 인식 분야에서 경쟁 가능한 패러다임으로 부활시켰다.