[논문 리뷰] siftservice.com - Turning a Computer Vision algorithm into a World Wide Web Service

Ahmad P. Tafti, Hamid Hassannia외 1명|arXiv (Cornell University)|2015. 04. 11.

Advanced Image and Video Retrieval Techniques참고 문헌 7인용 수 4

한 줄 요약

이 논문은 연구자와 학생들이 로컬 설치 없이 웹 API를 통해 SIFT 특징 검출 및 기술자 기능에 접근할 수 있도록 하는 소프트웨어로서의 서비스(SaaS) 형태의 SIFT 알고리즘 구현인 siftservice.com을 제시한다. 이 서비스는 David Lowe의 원본 구현과 비교해 특징점 검출 정확도가 1% 이내, 관건점 매칭 정확도가 2% 이내를 기록하여 컴퓨터 비전 응용 분야에서 빠른 프로토타ип링을 위한 높은 정밀도와 사용성 확보를 입증한다.

ABSTRACT

Image features detection and description is a longstanding topic in computer vision and pattern recognition areas. The Scale Invariant Feature Transform (SIFT) is probably the most popular and widely demanded feature descriptor which facilitates a variety of computer vision applications such as image registration, object tracking, image forgery detection, and 3D surface reconstruction. This work introduces a Software as a Service (SaaS) based implementation of the SIFT algorithm which is freely available at http://siftservice.com for any academic, educational and research purposes. The service provides application-to-application interaction and aims Rapid Application Development (RAD) and also fast prototyping for computer vision students and researchers all around the world. An Internet connection is all they need!

연구 동기 및 목표

• 웹 기반 SIFT 서비스를 제공하여 컴퓨터 비전 분야에서 빠른 응용 개발(RAD)과 빠른 프로토타입링을 가능하게 하기 위해.
• 광범위하게 사용되는 컴퓨터 비전 알고리즘을 위한 표준화된 웹 서비스 프로토콜을 통해 애플리케이션 간 상호작용을 지원하기 위해.
• 학술 및 연구 목적을 위해 인간이 사용하기 쉬운 인터페이스와 프로그래밍 가능한 API를 모두 통해 SIFT 알고리즘에 접근 가능하게 하기 위해.
• 특히 소프트웨어로서의 서비스(SaaS)와 사물인터넷(IoT)의 맥락에서 컴퓨터 비전 응용과 웹 서비스 간 격차를 메우기 위해.

제안 방법

• SIFT 알고리즘을 Java SE 7로 구현하였으며, 핵심 단계 4단계를 따르는데, 차분-가우시안(Difference-of-Gaussian, DoG)을 사용한 척도 공간 구축, 특징 국소화, 기울기 방향 계산, 기술자 추출 순서이다.
• 2차원 컨볼루션을 통해 가우시안 커널을 사용하여 척도 공간 이미지를 생성하였으며, $ G(x,y;\sigma) = \text{conv2}(I(x,y), K(x,y;\sigma)) $, 그리고 $ K(x,y;\sigma) = \frac{1}{2\pi\sigma^2} e^{-(x^2 + y^2)/(2\sigma^2)} $이다.
• 기울기 크기 $ m(x,y) = \sqrt{(G(x,y+1)-G(x,y-1))^2 + (G(x+1,y)-G(x-1,y))^2} $ 및 방향 $ \theta(x,y) = \tan^{-1}((G(x,y+1)-G(x,y-1))/(G(x+1,y)-G(x-1,y))) $를 계산하여 방향 할당을 수행하였다.
• 각 검출된 관건점 중심으로 4×4 공간 영역 내에서 8개의 바이닝을 가진 히스토그램을 생성하여 128차원 SIFT 기술자를 생성하였다.
• 표준 웹 서비스 프로토콜을 사용하여 서비스를 배포하였으며, 메시지 교환에는 SOAP, 서비스 기술에는 WSDL, 서비스 발견에는 UDDI, 프로세스 오케스트레이션에는 BPELWS를 사용하였다.
• HTTP/HTTPS 엔드포인트를 통해 접근 가능한 64비트 Linux CentOS 가상 서버에 서비스를 호스팅하였으며, 2개의 vCPU, 2GB RAM, 100 Mbit/s 대역폭을 제공하였다.

실험 결과

연구 질문

• RQ1 David Lowe의 원본 오프라인 구현과 비교해 SaaS 기반 SIFT 서비스가 특징 검출 정확도를 유사하게 달성할 수 있는가?
• RQ2 원본 SIFT 소프트웨어와 비교해 SaaS SIFT 서비스가 이미지 간 대응 관건점에 대해 어느 정도의 매칭 정확도를 유지하는가?
• RQ3 컴퓨터 비전 연구자와 학생들이 빠른 프로토타입링 및 응용 통합을 위해 웹 기반 SIFT 서비스를 얼마나 효과적으로 활용할 수 있는가?
• RQ4 공개된 SIFT-as-a-Service 플랫폼이 학술 및 연구 환경에서 실제 영향을 미치고, 어떤 사용 패턴을 보이는가?

주요 결과

• SIFT as a Service 구현은 David Lowe의 원본 실행 파일과 비교해 특징점 검출 정확도가 1% 이내로, 원본의 1638개 대비 1627개의 특징점을 검출하여 높은 정밀도를 확보하였다.
• 서비스는 "hall01"과 "hall02" 이미지 쌍에 대해 원본 구현의 166개 매칭과 비교해 158개의 매칭을 기록하여 관건점 매칭 정확도가 2% 미만의 오차를 보였다.
• 표준 웹 서비스 프로토콜(SOAP, WSDL, UDDI)을 통해 애플리케이션 간 상호작용이 성공적으로 수행되어 큰 워크플로우에의 원활한 통합이 가능했다.
• 서비스는 학술, 교육, 연구 목적을 위해 무료로 http://siftservice.com 에서 접근 가능했으며, 2014년 12월부터 2015년 3월까지 측정 가능한 사용자 참여가 있었고, 실질적인 도입 사례로 확인되었다.
• 이 구현은 로컬 소프트웨어 설치 및 설정이 필요 없어지므로 컴퓨터 비전 연구의 접근 장벽을 낮추고 빠른 프로토타입링을 지원한다.
• 이 작업는 "컴퓨터 비전을 서비스로 제공하기"의 비전을 향한 기초 단계를 대표하며, 표준 웹 서비스 아키텍처를 통해 핵심 컴퓨터 비전 알고리즘을 노출하는 것이 가능하다는 것을 입증한다.