[論文レビュー] The Parallel Distributed Image Search Engine (ParaDISE)

Dimitrios Markonis, Roger Schaer+2 more|arXiv (Cornell University)|Jan 19, 2017

Advanced Image and Video Retrieval Techniques参考文献 17被引用数 3

ひとこと要約

ParaDISE は、MapReduce を用いたスケーラブルで分散処理されたアーキテクチャにより、視覚的およびテキストベースの検索を統合するオープンソースでコンポonentベースの画像検索システムである。視覚的特徴および検索パイプラインの柔軟な評価を可能とし、SIFT や BoVW といった最先端の記述子が特定の文脈においてより複雑な記述子を上回る性能を示すなど、医療画像検索において優れた性能を発揮している。

ABSTRACT

Image retrieval is a complex task that differs according to the context and the user requirements in any specific field, for example in a medical environment. Search by text is often not possible or optimal and retrieval by the visual content does not always succeed in modelling high-level concepts that a user is looking for. Modern image retrieval techniques consist of multiple steps and aim to retrieve information from large--scale datasets and not only based on global image appearance but local features and if possible in a connection between visual features and text or semantics. This paper presents the Parallel Distributed Image Search Engine (ParaDISE), an image retrieval system that combines visual search with text--based retrieval and that is available as open source and free of charge. The main design concepts of ParaDISE are flexibility, expandability, scalability and interoperability. These concepts constitute the system, able to be used both in real-world applications and as an image retrieval research platform. Apart from the architecture and the implementation of the system, two use cases are described, an application of ParaDISE in retrieval of images from the medical literature and a visual feature evaluation for medical image retrieval. Future steps include the creation of an open source community that will contribute and expand this platform based on the existing parts.

研究の動機と目的

• 視覚的およびテキスト的特徴を統合することで、コンテンツベースの画像検索における意味的ギャップを解消すること。
• 研究および実世界の展開に適した、柔軟で拡張可能かつスケーラブルな画像検索プラットフォームを設計すること。
• 分散コンピューティングと現代の特徴表現を用いて、大規模な画像インデックス作成および検索を効率的に行うことを支援すること。
• 医療画像検索の文脈におけるさまざまな視覚的記述子の有効性を評価すること。
• RESTful Web サービスおよび JSON ベースのデータ交換を通じて、相互運用性と大規模システムへの統合を可能にすること。

提案手法

• ParaDISE は、4つのコアコンポonent（画像前処理、特徴抽出、インデクサ、ファイザー）からなる、プラグイン型のコンポonentベースのアーキテクチャを採用している。
• 並列インデクシングおよび検索のため、MapReduce フレームワークを用いることで、大規模な画像コレクションにおけるスケーラビリティを実現している。
• SIFT、RootSIFT、CEDD、FCTH、BoVW、VLAD などの複数の視覚的記述子をサポートし、各コンポonentのパrameterチューニングを可能としている。
• ファイザー コンポonent を用いた後段融合により、テキストベースの検索を統合し、マルチモーダルなクエリ処理を可能としている。
• データ交換には JSON を使用し、RESTful HTTP インターフェースを採用することで、多様なクライアントアプリケーションとの相互運用性を確保している。
• メモリ効率と大規模データセットにおける効率的なオンライン検索を実現するため、バイナリ記述子をサポートしている。

実験結果

リサーチクエスチョン

• RQ1 分散処理およびスケーラブルな画像検索システムは、視覚的およびテキスト的特徴を効果的に統合することで、検索精度をどのように向上させ得るか？
• RQ2 医療画像検索タスク、特に小病変検出において、どの視覚的特徴表現が最も優れた性能を示すか？
• RQ3 コンポonent のモジュラリティおよび拡張性は、研究および生産用途におけるシステムの適応性をどの程度向上させるか？
• RQ4 MapReduce を用いた並列インデクシングは、大規模な画像コレクションにおけるインデクシング時間の大幅な短縮を実現できるか？
• RQ5 関連性フィードバックと後段融合の統合は、医療画像検索におけるユーザー満足度をどのように向上させるか？

主な発見

• SIFT および BoVW は、RootSIFT や VLAD よりも優れた性能を示し、特定の文脈においてタスク固有の特徴の適切さを示している。
• CEDD や FCTH などのグローバル記述子も、局所特徴が常に優位であるという仮定に反して、競争力のある性能を発揮した。
• 放射線科医による実世界の評価では、結果の信頼性と関連性フィードバックの使いやすさに起因して、高いユーザー満足度が得られた。
• MapReduce を用いた並列インデクシングにより、10万枚を超える画像コレクションを含む大規模データセットの効率的な処理が可能となり、リアルタイム検索を実現した。
• コンポonent ベースで拡張可能なアーキテクチャのおかげで、新しい特徴や検索パイプラインのシームレスな統合が可能となり、研究的実験およびアプリケーションのデプロイメントを両立した。
• 本システムは、二重ライセンスのもとでオープンソースとして提供されており、学術的および商業的環境での採用を促進している。