[논문 리뷰] NEFI: Network Extraction From Images

Michael Dirnberger, Adrian Neumann외 1명|arXiv (Cornell University)|2015. 02. 18.

Slime Mold and Myxomycetes Research참고 문헌 16인용 수 9

한 줄 요약

NEFI는 열엽맥, 미생물 혼합체, 진흙 균열과 같은 네트워크 구조를 가진 이미지에서 수학적 그래프를 자동으로 추출하는 오픈소스이자 사용자 우호적인 소프트웨어 프레임워크이다. 이미지 처리, 컴퓨터 비전 및 그래프 이론을 통합하여, 비전문가도 직관적인 GUI를 통해 정확하고 분석 가능한 그래프를 추출할 수 있도록 지원하며, 배치 처리 기능을 제공하여 LEAF GUI와 같은 전용 도구에 비해 유연성, 확장성, 알고리즘의 견고성 면에서 뛰어나다.

ABSTRACT

Networks and network-like structures are amongst the central building blocks of many technological and biological systems. Given a mathematical graph representation of a network, methods from graph theory enable a precise investigation of its properties. Software for the analysis of graphs is widely available and has been applied to graphs describing large scale networks such as social networks, protein-interaction networks, etc. In these applications, graph acquisition, i.e., the extraction of a mathematical graph from a network, is relatively simple. However, for many network-like structures, e.g. leaf venations, slime molds and mud cracks, data collection relies on images where graph extraction requires domain-specific solutions or even manual. Here we introduce Network Extraction From Images, NEFI, a software tool that automatically extracts accurate graphs from images of a wide range of networks originating in various domains. While there is previous work on graph extraction from images, theoretical results are fully accessible only to an expert audience and ready-to-use implementations for non-experts are rarely available or insufficiently documented. NEFI provides a novel platform allowing practitioners from many disciplines to easily extract graph representations from images by supplying flexible tools from image processing, computer vision and graph theory bundled in a convenient package. Thus, NEFI constitutes a scalable alternative to tedious and error-prone manual graph extraction and special purpose tools. We anticipate NEFI to enable the collection of larger datasets by reducing the time spent on graph extraction. The analysis of these new datasets may open up the possibility to gain new insights into the structure and function of various types of networks. NEFI is open source and available http://nefi.mpi-inf.mpg.de.

연구 동기 및 목표

• 다양한 과학 분야에서 이미지에서 그래프 추출을 위한 접근 가능하고 재사용 가능하며 철저히 문서화된 도구의 부족을 해결하기 위해.
• 이미지에서 수작업 또는 도메인 전용 방법으로 그래프를 추출할 때 발생하는 시간과 오류 비율을 줄이기 위해.
• 기존의 컴퓨터 비전 및 그래프 이론 기법을 통합하여 비전문가 사용자를 위한 확장 가능하고 스케일링 가능한 플랫폼을 제공하기 위해.
• 이미지 데이터에서 효율적이고 자동으로 그래프를 추출할 수 있도록 하여 더 크고 표준화된 네트워크 데이터베이스 구축을 촉진하기 위해.
• 비전문가를 위해 직관적인 GUI를 제공하고, 전문가를 위해 확장 가능하고 모듈화된 아키텍처를 통해 알고리즘 개발 및 통합을 지원하기 위해.

제안 방법

• NEFI는 사용자가 이미지 처리, 세그멘테이션, 희소화, 그래프 탐지 단계를 자유롭고 조합 가능한 워크플로우로 연결할 수 있도록 하는 모듈식 파이프라인 아키텍처를 사용한다.
• 신뢰성과 성능을 확보하기 위해 OpenCV와 같은 잘 정립된 라이브러리를 이미지 처리에, NetworkX를 그래프 조작에 활용한다.
• 복잡하거나 노이즈가 많은 이미지에서 정확도를 향상시키기 위해 가이드드 워터셰드와 GrabCut과 같은 고급 기법을 사용하여 세그멘테이션을 수행한다.
• 골드-홀 희소화 알고리즘은 스켈레톤의 위상적 연결성을 보장하여 정확한 그래프 표현에 핵심적인 역할을 한다.
• 정점 탐지는 스켈레톤 내의 교차점 기반으로 이루어지며, degree-2 정점은 탐지하지 않으며, 고도가 4 이상인 정점은 여러 개의 degree-3 정점으로 분할될 수 있다.
• 그래프 필터링 및 후처리 단계를 통해 분할된 정점을 병합하고 최종 그래프 구조를 정밀하게 보정할 수 있다.

실험 결과

연구 질문

• RQ1 일반적인 목적의 사용자 우호 소프트웨어 플랫폼이 전문 지식 없이 다양한 네트워크 유형의 이미지에서 그래프 추출을 자동화할 수 있는가?
• RQ2 기존의 컴퓨터 비전 및 그래프 이론 기법을 통합한 NEFI의 성능가 비해 전용의, 특수 목적에 맞춘 솔루션에 비해 정확도와 사용성 면에서 어떻게 비교되는가?
• RQ3 NEFI는 네트워크 분석을 위한 대규모 데이터셋 생성을 위해 배치 처리를 얼마나 잘 지원할 수 있는가?
• RQ4 NEFI의 확장성은 전문가가 새로운 응용 분야를 위해 알고리즘 기여 및 기능 향상에 어떻게 기여할 수 있는가?
• RQ5 NEFI는 수작업 또는 LEAF GUI와 같은 전용 도구에 비해 그래프 추출에 소요되는 시간과 오류 비율을 줄일 수 있는가?

주요 결과

• NEFI는 대부분의 파이프라인 단계에서 1152×864 크기의 이미지를 1초 이내로 처리하고, 가장 집약적인 단계에서는 5760×3840 크기의 이미지를 12초 이내로 처리하여 높은 효율성을 입증한다.
• LEAF GUI에 비해 핵심 영역에서 뛰어난 성능을 보이며, 배치 처리, 사전 정의된 파이프라인, 자유로운 알고리즘 조합, 확장성 기능을 제공하여 LEAF GUI에서 누락된 기능을 보완한다.
• NEFI는 가이드드 워터셰드와 GrabCut 세그멘테이션을 사용하여 LEAF GUI에서 사용하는 임계값 기반 방법에 비해 저대비 또는 노이즈가 많은 이미지에서 더 높은 견고성을 확보한다.
• 골드-홀 희소화 방법은 연결성을 유지함으로써 위상적 정확성을 보장하여 다른 희소화 알고리즘에 비해 핵심적인 이점이 있다.
• NEFI는 중간 결과의 시각적 검토를 가능하게 하고, 그래프 필터링 및 속성 계산 기능을 지원하여 LEAF GUI의 GUI에서 완전히 확보되지 않은 기능을 제공한다.
• 플랫폼의 오픈소스 성격과 모듈식 설계 덕분에 새로운 알고리즘의 간편한 통합이 가능하여 커뮤니티 기반 개발과 광범위한 보급을 촉진한다.