[논문 리뷰] Large-scale image analysis using docker sandboxing

Biswa Sengupta, Eduard Vazquez외 5명|arXiv (Cornell University)|2017. 03. 07.

Advanced Neural Network Applications참고 문헌 22인용 수 3

한 줄 요약

이 논문은 대규모 이미지 현지화 및 검색을 위한 확장성 있고 도커 기반의 아키텍처인 Cortexica를 제시한다. 이는 GPU 가속과 컨테이너화된 마이크로서비스를 활용하여 상업적 응용 프로그램에서 빠르고 유연하며 안전한 다중 제품 검색을 가능하게 한다. 시스템은 객체 검출을 위한 딥러닝과 효율적인 검색을 위한 분산 역인verted 인덱싱을 결합하여 다양한 이미지 데이터베이스에서 고정밀도와 고내성으로 1초 이내 응답 시간을 달성한다.

ABSTRACT

With the advent of specialized hardware such as Graphics Processing Units (GPUs), large scale image localization, classification and retrieval have seen increased prevalence. Designing scalable software architecture that co-evolves with such specialized hardware is a challenge in the commercial setting. In this paper, we describe one such architecture ( extit{Cortexica}) that leverages scalability of GPUs and sandboxing offered by docker containers. This allows for the flexibility of mixing different computer architectures as well as computational algorithms with the security of a trusted environment. We illustrate the utility of this framework in a commercial setting i.e., searching for multiple products in an image by combining image localisation and retrieval.

연구 동기 및 목표

• 상업적 환경에서 대규모 이미지 분석을 위한 확장성 있고 안전하며 유연한 소프트웨어 아키텍처를 설계하기 위해.
• 알고리즘과 아키텍처의 유연성을 유지하면서도 GPU와 같은 전용 하드웨어와 함께 소프트웨어가 공진화할 수 있도록 하기 위해.
• 객체 현지화와 콘텐츠 기반 검색을 조합하여 효율적이고 저지연 다중 제품 검색을 가능하게 하기 위해.
• 도커 컨테이너를 사용하여 신뢰할 수 있고 격리된 환경에서 딥러닝 모델과 대체 알고리즘의 핫스왑을 지원하기 위해.
• 분산 및 스크래치된 역인verted 인덱싱 및 병렬 쿼리 실행을 통해 시스템의 강건성과 성능을 확보하기 위해.

제안 방법

• 각 컴포넌트를 격리하고 보안을 확보하며 알고리즘의 핫스왑을 용이하게 하기 위해 도커 컨테이너를 사용한 마이크로서비스 아키텍처를 구현한다.
• 실시간 추론을 달성하기 위해 GPU 가속을 활용한 최신 딥러닝 모델(Faster R-CNN, SSD, R-FCN)을 사용하여 객체 현지화를 수행한다.
• 다중 스케일 특징 추출 파이프라인과 영역 제안 네트워크, 공유 컨볼루션 백본(예: VGG)을 활용하여 효율적인 검출을 실현한다.
• 현지화 이후 콘텐츠 기반 이미지 검색을 위해 색상-텍스처 기반 기술(예: SIFT, LBP)을 적용하여 대규모 데이터베이스에서 유사도 검색을 가능하게 한다.
• 가로 방향 확장성과 내성 보장을 위해 시각적 단어를 이미지 ID에 매핑하는 분산 및 스크래치된 역인verted 인덱스를 구축한다.
• 특정 제품 카테고리(예: 상의, 자켓)에 전용으로 할당된 다수의 데이터베이스 인스턴스를 통해 검색 쿼리를 병렬로 실행하고, 부하 분산 및 일관된 응답 시간을 확보한다.

실험 결과

연구 질문

• RQ1 GPU와 같은 전용 하드웨어와 함께 공진화할 수 있는 확장성 있고 안전한 소프트웨어 아키텍처를 어떻게 설계할 수 있는가?
• RQ2 생산 환경에서 딥러닝 모델과 대체 알고리즘의 효율적 핫스왑을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 객체 현지화와 콘텐츠 기반 검색을 어떻게 효과적으로 조합하여 단일 이미지 또는 비디오 스트림에서의 다중 제품 검색을 가능하게 할 수 있는가?
• RQ4 대규모이고 이질적인 이미지 데이터베이스에서 저지연, 확장성 있고 내성 보장된 검색을 보장하는 색인 전략은 무엇인가?
• RQ5 모듈러하고 컨테이너화된 프레임워크가 다양한 알고리즘과 데이터 유형을 지원하면서도 높은 성능과 정확도를 유지할 수 있는 정도는 어느 정도인가?

주요 결과

• Cortexica 프레임워크는 10만~200만 개의 이미지 데이터베이스에서 데이터베이스 크기나 검출된 항목 수에 관계없이 다중 제품 검색에 대해 1초 이내 응답 시간을 달성한다.
• 도커 사전화 덕분에 서비스 중단 없이 신경망과 대체 알고리즘의 스무스한 핫스왑이 가능해져 시스템의 유연성이 향상된다.
• 검색 데이터베이스를 제품 카테고리(예: 상의, 자켓)별로 분할함으로써 단일 데이터베이스보다 유의미하게 추론 정확도가 향상된다.
• 스크래치된 분산 역인verted 인덱싱은 내성 보장을 보장한다: 단일 서버 장애는 단어의 소수의 부분에만 영향을 미쳐 쿼리 결과에 대한 영향을 최소화한다.
• 카테고리 전용 데이터베이스를 통해 검색 쿼리를 병렬로 실행함으로써 일관된 응답 시간을 유지하고, 검출 수 증가에 따른 성능 저하를 방지한다.
• 시스템은 단일 이미지나 비디오 스트림에서 여러 패션 아이템을 정확하게 현지화하고 검색하는 데 높은 정확도를 보이며, 시각적 결과는 의미적으로 관련된 매칭을 보여준다.