[논문 리뷰] E$^2$BoWs: An End-to-End Bag-of-Words Model via Deep Convolutional Neural Network

Xiaobin Liu, Shiliang Zhang외 2명|arXiv (Cornell University)|2017. 09. 18.

Advanced Image and Video Retrieval Techniques참고 문헌 29인용 수 3

한 줄 요약

이 논문은 깊이 학습 기반의 컨volution 신경망을 사용하여 의미적으로 구분 가능한 시각적 단어를 생성하는 엔드 투 엔드 Bag-of-Words 모델인 E²BoWs를 제안한다. 마지막 완전 연결 층을 카테고리별 의미 특징 맵을 생성하기 위한 컨볼루션 층으로 대체하고, 희소성 정규화를 적용한 새로운 Bag-of-Words 레이어를 도입함으로써, 대규모 이미지 검색에서 최신 기술 수준의 정확도와 효율성을 달성한다. 이 모델은 CIFAR-10, CIFAR-100, MIRFLICKR-25K, NUS-WIDE에서 기존의 전통적 BoW 방법과 최근의 딥 러닝 기반 기준 모델을 모두 능가한다.

ABSTRACT

Traditional Bag-of-visual Words (BoWs) model is commonly generated with many steps including local feature extraction, codebook generation, and feature quantization, etc. Those steps are relatively independent with each other and are hard to be jointly optimized. Moreover, the dependency on hand-crafted local feature makes BoWs model not effective in conveying high-level semantics. These issues largely hinder the performance of BoWs model in large-scale image applications. To conquer these issues, we propose an End-to-End BoWs (E$^2$BoWs) model based on Deep Convolutional Neural Network (DCNN). Our model takes an image as input, then identifies and separates the semantic objects in it, and finally outputs the visual words with high semantic discriminative power. Specifically, our model firstly generates Semantic Feature Maps (SFMs) corresponding to different object categories through convolutional layers, then introduces Bag-of-Words Layers (BoWL) to generate visual words for each individual feature map. We also introduce a novel learning algorithm to reinforce the sparsity of the generated E$^2$BoWs model, which further ensures the time and memory efficiency. We evaluate the proposed E$^2$BoWs model on several image search datasets including CIFAR-10, CIFAR-100, MIRFLICKR-25K and NUS-WIDE. Experimental results show that our method achieves promising accuracy and efficiency compared with recent deep learning based retrieval works.

연구 동기 및 목표

• 수작업으로 만든 局부 특징과 다단계 처리에 의존하는 전통적 Bag-of-Words (BoW) 모델의 한계를 극복하기 위해.
• 딥 컨볼루션 신경망(DCNNs)을 BoW 프레임워크에 통합하여 의미 표현을 향상시켜 이미지 검색에서 의미 갭을 줄이기 위해.
• 특징 학습과 시각적 단어 생성을 동시에 최적화할 수 있도록 BoW 모델의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 확장 가능한 역인verted 파일 색인 및 빠른 검색을 위해 시각적 단어 표현의 높은 효율성과 희소성 확보를 위해.
• 특히 의미 유사성 검색에 있어 기존의 딥 러닝 기반 검색 방법보다 일반화 능력과 구분 능력을 향상시키기 위해.

제안 방법

• GoogLeNet의 마지막 완전 연결 층을 n개의 객체 카테고리에 대응하는 n개의 의미 특징 맵(SFMs)을 생성하기 위한 컨볼루션 층으로 교체한다.
• 각 의미 특징 맵은 새로운 Bag-of-Words 레이어(BoWL)를 거쳐 매 맵당 m개의 희소한 시각적 단어를 생성하여, 총 m×n개의 시각적 단어를 도출한다.
• 시각적 단어 표현의 희소성을 유도하기 위해 임계값 설정 메커니즘을 적용하여 메모리 및 계산 효율성을 향상시킨다.
• 세 구성 요소로 이루어진 손실 함수를 도입한다: (1) 학습을 위한 분류 손실, (2) 유사한 이미지가 더 많은 시각적 단어를 공유하도록 유도하는 콘트라스트 손실, (3) 이미지당 시각적 단어 수를 낮게 유지하기 위한 희소성 정규화.
• 백프로파게이션을 사용하여 엔드 투 엔드로 학습함으로써 특징 추출, 시각적 단어 생성, 희소성의 공동 최적화를 가능하게 한다.
• 역인verted 파일 색인과 TF-IDF 가중치를 지원하여 대규모 이미지 검색의 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 신경망을 사용하여 기존의 다단계 BoW 파이프라인을 대체하는 엔드 투 엔드 방식으로 시각적 단어를 생성할 수 있는가?
• RQ2 수작업으로 만든 局부 특징을 딥 페처로 대체함으로써 이미지 검색에서 의미적으로 더 잘 분류 가능한 성능을 향상시킬 수 있는가?
• RQ3 희소성 정규화를 적용한 새로운 Bag-of-Words 레이어는 정확도 향상과 함께 높은 검색 효율성을 유지할 수 있는가?
• RQ4 기본적인 딥 페처인 GoogLeNet과 비교해 볼 때, 제안된 E²BoWs 모델은 다양한 데이터셋에 대해 얼마나 잘 일반화되는가?
• RQ5 학습된 시각적 단어를 사용할 때와 바이너리 코드를 사용할 때의 정확도와 계산 효율성 간의 상충 관계는 어떠한가?

주요 결과

• CIFAR-10에서 E²BoWs-B(이진화된 버전)는 평균 평균 정밀도(mAP) 0.563을 달성하여 최고의 베이스라인 BHC[23]의 mAP 0.543을 초월한다.
• NUS-WIDE에서 E²BoWs 모델은 mAP 0.599를 기록하여 GoogLeNet 페처(최고의 베이스라인 mAP 0.594)를 뛰어넘으며, 더 뛰어난 일반화 능력을 보여준다.
• MIRFLICKR-25K에서 이미지당 평균 시각적 단어 수는 단 43.6개에 불과하여 높은 희소성과 효율성을 나타내며, BHC에서 요구하는 480,000회의 연산에 비해 훨씬 낮은 연산량을 보인다.
• 역인verted 파일 색인을 활용함으로써 검색 복잡도를 줄여, CIFAR-10에서 이미지당 8.64회의 연산으로 검색을 수행할 수 있었고, 바이너리 코드를 사용한 선형 검색의 8,294회 연산에 비해 극적으로 감소하였다.
• 제안된 세 구성 요소 손실 함수는 모든 벤치마크 데이터셋에서 검증된 바와 같이 더 빠른 수렴을 가능하게 하며, 의미적 분류 능력과 희소성 향상을 동시에 향상시킨다.
• E²BoWs가 생성한 시각적 단어 표현은 더 강력한 의미적 신호를 보이며, 예를 들어 눈 이미지에서 '사람'을 정확히 식별하는 등 BHC[23]에 비해 뛰어난 의미 이해 능력을 보여준다.