[論文レビュー] NEFI: Network Extraction From Images

Michael Dirnberger, Adrian Neumann+1 more|arXiv (Cornell University)|Feb 18, 2015

Slime Mold and Myxomycetes Research参考文献 16被引用数 9

ひとこと要約

NEFI は、葉脈、粘菌、泥亀裂などのネットワーク構造をとらえた画像から数学的グラフを自動抽出する、オープンソースで使いやすいソフトウェアフレームワークです。画像処理、コンピュータビジョン、グラフ理論を統合することで、専門知識のないユーザーが直感的な GUI を使って正確で解析可能なグラフを抽出でき、バッチ処理もサポートしており、LEAF GUI などの専用ツールに比べて柔軟性、拡張性、アルゴリズムの頑健性に優れています。

ABSTRACT

Networks and network-like structures are amongst the central building blocks of many technological and biological systems. Given a mathematical graph representation of a network, methods from graph theory enable a precise investigation of its properties. Software for the analysis of graphs is widely available and has been applied to graphs describing large scale networks such as social networks, protein-interaction networks, etc. In these applications, graph acquisition, i.e., the extraction of a mathematical graph from a network, is relatively simple. However, for many network-like structures, e.g. leaf venations, slime molds and mud cracks, data collection relies on images where graph extraction requires domain-specific solutions or even manual. Here we introduce Network Extraction From Images, NEFI, a software tool that automatically extracts accurate graphs from images of a wide range of networks originating in various domains. While there is previous work on graph extraction from images, theoretical results are fully accessible only to an expert audience and ready-to-use implementations for non-experts are rarely available or insufficiently documented. NEFI provides a novel platform allowing practitioners from many disciplines to easily extract graph representations from images by supplying flexible tools from image processing, computer vision and graph theory bundled in a convenient package. Thus, NEFI constitutes a scalable alternative to tedious and error-prone manual graph extraction and special purpose tools. We anticipate NEFI to enable the collection of larger datasets by reducing the time spent on graph extraction. The analysis of these new datasets may open up the possibility to gain new insights into the structure and function of various types of networks. NEFI is open source and available http://nefi.mpi-inf.mpg.de.

研究の動機と目的

• 多様な科学分野における画像からのグラフ抽出のための、アクセスしやすく再利用可能で、良好にドキュメント化されたツールの不足に対処すること。
• 画像からの手動またはドメイン特化型のグラフ抽出に伴う時間と誤差率を低減すること。
• 確立されたコンピュータビジョンおよびグラフ理論の手法を統合した、スケーラブルで拡張可能なプラットフォームを提供し、非専門家ユーザーに利用可能にすること。
• 効率的で自動化されたグラフ抽出により、より大規模で標準化されたネットワークデータベースの構築を促進すること。
• 非専門家ユーザーには直感的な GUI を、専門家ユーザーには拡張可能でモジュラーなアーキテクチャを提供し、アルゴリズム開発と統合を支援すること。

提案手法

• NEFI はモジュラーなパイプラインアーキテクチャを採用しており、ユーザーが画像処理、セグメンテーション、スケルトン化、グラフ検出の各ステップを柔軟かつ合成可能なワークフローで連結できる。
• OpenCV を用いた画像処理と NetworkX を用いたグラフ操作の、確立されたライブラリを活用することで、信頼性とパフォーマンスを確保している。
• セグメンテーションにはガイド付きウォーターシェド法や GrabCut といった高度な技術を用い、複雑またはノイズの多い画像でも高精度を実現している。
• Guo-Hall スケルトン化アルゴリズムにより、スケルトンのトポロジカルな接続性が保証され、正確なグラフ表現に不可欠である。
• 頂点検出はスケルトン内のジョイントポイントに基づくが、次数2の頂点は検出せず、高次度頂点（≥4）は複数の次数3頂点に分割される可能性がある。
• グラフのフィルタリングおよび後処理ステップにより、分割された頂点を統合し、最終的なグラフ構造を最適化できる。

実験結果

リサーチクエスチョン

• RQ1 一般用途で使いやすく、非専門家が知識を必要とせずに、多様なネットワーク構造の画像からグラフ抽出を自動化できるソフトウェアプラットフォームは実現可能か？
• RQ2 確立されたコンピュータビジョンおよびグラフ理論の手法を統合した NEFI のアプローチは、専用で臨機応変に設計されたソリューションと比べて、正確性と使いやすさの面でどのように差をつけるか？
• RQ3 NEFI はバッチ処理および大規模データセットの生成をどれほど効果的にサポートできるか？
• RQ4 NEFI の拡張性は、専門家が新規アプリケーション向けにアルゴリズムを貢献・強化するのをどの程度促進できるか？
• RQ5 LEAF GUI などの手動または専用ツールと比較して、NEFI はグラフ抽出の時間と誤差率をどの程度低減できるか？

主な発見

• NEFI は 1152×864 の画像をパイプラインの大多数のステップで 1 秒未塔で処理でき、5760×3840 の画像では最も計算コストの高いステップでも 12 秒未塔で処理が可能であり、高い効率性を示している。
• LEAF GUI に欠けている機能を備えており、バッチ処理、事前定義されたパイプライン、自由なアルゴリズムの組み合わせ、拡張性の面で LEAF GUI を上回っている。
• ガイド付きウォーターシェッド法と GrabCut を用いたセグメンテーションにより、LEAF GUI が使用するしきい値ベースの手法と比較して、コントラストが低いかノイズの多い画像でもより頑健な性能を発揮している。
• Guo-Hall スケルトン化法により、接続性が保たれるトポロジカルに正しいグラフが得られ、他のスケルトン化アルゴリズムと比較して顕著な利点を有している。
• 中間結果の可視化が可能で、グラフのフィルタリングや属性計算が可能であり、LEAF GUI の GUI では完全に利用できない機能を備えている。
• オープンソースであることに加え、モジュラーな設計により、新しいアルゴリズムの統合が容易であり、コミュニティ主導の開発を促進し、広範な採用を可能としている。