[论文解读] siftservice.com - Turning a Computer Vision algorithm into a World Wide Web Service

Ahmad P. Tafti, Hamid Hassannia+1 more|arXiv (Cornell University)|Apr 11, 2015

Advanced Image and Video Retrieval Techniques参考文献 7被引用 4

一句话总结

本文介紹了 siftservice.com，這是一個軟體即服務（SaaS）形式的 SIFT 算法實現，讓研究人員與學生能透過網頁 API 使用 SIFT 特徵檢測與描述功能，無需在本地安裝。該服務的特徵點檢測準確率誤差低於 1%，關鍵點匹配準確率誤差低於 2%，與 David Lowe 原始實現相比表現高度一致，適用於電腦視覺應用的快速原型設計。

ABSTRACT

Image features detection and description is a longstanding topic in computer vision and pattern recognition areas. The Scale Invariant Feature Transform (SIFT) is probably the most popular and widely demanded feature descriptor which facilitates a variety of computer vision applications such as image registration, object tracking, image forgery detection, and 3D surface reconstruction. This work introduces a Software as a Service (SaaS) based implementation of the SIFT algorithm which is freely available at http://siftservice.com for any academic, educational and research purposes. The service provides application-to-application interaction and aims Rapid Application Development (RAD) and also fast prototyping for computer vision students and researchers all around the world. An Internet connection is all they need!

研究动机与目标

• 透過提供基於網頁的 SIFT 服務，實現電腦視覺領域的快速應用開發（RAD）與快速原型設計。
• 透過標準化的網頁服務協定，支援廣泛使用的電腦視覺算法之應用間互動。
• 透過直覺的介面與程式介面，讓學術與研究用途能輕鬆存取 SIFT 算法。
• 彙整電腦視覺應用與網頁服務之間的差距，特別是在軟體即服務（SaaS）與物聯網（IoT）的脈絡下。

提出的方法

• 以 Java SE 7 實作 SIFT 算法，遵循其四個核心階段：使用差分高斯（DoG）構建尺度空間、特徵定位、梯度方向計算與描述子提取。
• 使用二維卷積與高斯核生成尺度空間影像，其中 $ G(x,y;\sigma) = \text{conv2}(I(x,y), K(x,y;\sigma)) $，且 $ K(x,y;\sigma) = \frac{1}{2\pi\sigma^2} e^{-(x^2 + y^2)/(2\sigma^2)} $。
• 計算梯度大小 $ m(x,y) = \sqrt{(G(x,y+1)-G(x,y-1))^2 + (G(x+1,y)-G(x-1,y))^2} $ 與方向 $ \theta(x,y) = \tan^{-1}((G(x,y+1)-G(x,y-1))/(G(x+1,y)-G(x-1,y))) $ 以進行方向分配。
• 透過每個偵測到的關鍵點周圍 4×4 空間鄰域建立 8 筆的直方圖，產生 128 維的 SIFT 描述子。
• 使用標準網頁服務協定部署服務：以 SOAP 進行訊息交換，WSDL 用於服務描述，UDDI 用於服務發現，BPELWS 用於流程編排。
• 將服務託管於 64 位元 Linux CentOS 虛擬伺服器，配備 2 個 vCPU、2GB RAM 與 100 Mbit/s 帶寬，可透過 HTTP/HTTPS 端點存取。

实验结果

研究问题

• RQ1 基於 SaaS 的 SIFT 服務能否達到與 David Lowe 原始獨立執行版本相當的特徵檢測準確率？
• RQ2 與原生 SIFT 軟體相比，SaaS SIFT 服務在跨影像對應關鍵點匹配方面的準確率維持程度如何？
• RQ3 網頁版 SIFT 服務在支援電腦視覺研究人員與學生進行快速原型設計與應用整合方面，效果如何？
• RQ4 公開可用的 SIFT 作為服務平台在學術與研究環境中的實際影響與使用模式為何？

主要发现

• SIFT 作為服務的實作，與 David Lowe 原始可執行檔相比，特徵點檢測的誤差在 1% 以內，檢測到 1627 個特徵點，而原始版本為 1638 個。
• 該服務在「hall01」與「hall02」影像對中，成功匹配 158 個關鍵點，而原始實現為 166 個匹配，顯示關鍵點匹配的誤差低於 2%。
• 系統成功實現應用間互動，透過標準化網頁服務協定（SOAP、WSDL、UDDI）支援，能無縫整合至大型工作流程中。
• 該服務可免費透過 http://siftservice.com 使用於學術、教育與研究用途，且在 2014 年 12 月至 2015 年 3 月期間有可量化的使用者參與，顯示實際應用。
• 該實作支援快速原型設計，並透過消除本地軟體安裝與設定的需求，降低電腦視覺研究的入門門檻。
• 此工作代表朝「電腦視覺作為服務」願景的基礎一步，並證明透過標準化網頁服務架構公開核心電腦視覺演算法的可行性。