[논문 리뷰] Flud: a hybrid crowd-algorithm approach for visualizing biological networks

Aditya Bharadwaj, David Gwizdala외 3명|arXiv (Cornell University)|2019. 08. 20.

Data Visualization and Analytics참고 문헌 78인용 수 4

한 줄 요약

Flud는 인간의 직관과 알고리즘 제안을 조합하여 복잡한 신호 전달 경로의 생물학적으로 의미 있는 레이아웃을 만드는 하이브리드 커뮤니티-알고리즘 접근법이다. 목적 있는 게임 인터페이스를 통해 비전문가들이 반복적이고 기준 기반의 개선을 통해 네트워크 시각화를 최적화하며, 고순환 수를 가진 그래프에서 순수 알고리즘 방법보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

Modern experiments in many disciplines generate large quantities of network (graph) data. Researchers require aesthetic layouts of these networks that clearly convey the domain knowledge and meaning. However, the problem remains challenging due to multiple conflicting aesthetic criteria and complex domain-specific constraints. In this paper, we present a strategy for generating visualizations that can help network biologists understand the protein interactions that underlie processes that take place in the cell. Specifically, we have developed Flud, an online game with a purpose (GWAP) that allows humans with no expertise to design biologically meaningful graph layouts with the help of algorithmically generated suggestions. Further, we propose a novel hybrid approach for graph layout wherein crowdworkers and a simulated annealing algorithm build on each other's progress. To showcase the effectiveness of Flud, we recruited crowd workers on Amazon Mechanical Turk to lay out complex networks that represent signaling pathways. Our results show that the proposed hybrid approach outperforms state-of-the-art techniques for graphs with a large number of feedback loops. We also found that the algorithmically generated suggestions guided the players when they are stuck and helped them improve their score. Finally, we discuss broader implications for mixed-initiative interactions in human computation games.

연구 동기 및 목표

• 높은 피드백 루프 수를 가진 복잡한 세포 신호 전달 네트워크에 대해 생물학적으로 의미 있고 미적으로 매력적인 레이아웃을 만드는 데 도전하는 것.
• 완전히 자동화된 레이아웃 알고리즘과 수동으로 전문가가 설계하는 방식 사이의 격차를 메우기 위해 비전문가 커뮤니티 작업자들이 의미 있는 기여를 할 수 있도록 하는 것.
• 네트워크 시각화에서 상충되는 다수의 미적 기준과 영역 전문 기준을 균형 있게 조율하는 혼합 주도 시스템을 개발하는 것.
• 인간의 직관과 알고리즘 제안을 조합한 방식이 최신 자동화된 방법보다 뛰어난 레이아웃을 만들어내는지 평가하는 것.

제안 방법

• Flud는 네트워크 레이아웃 작업을 퍼즐처럼 제시하는 온라인 목적 게임(GWAP)으로, 비전문가 플레이어들이 반복적으로 노드 위치를 조정할 수 있도록 한다.
• 시스템은 다섯 가지 기준에 기반한 복합 레이아웃 점수를 계산한다: 간선 교차 수 최소화, 간선 길이 감소, 분리된 노드 쌍의 분산, 노드-간선 간격 증가, 하향 방향 경로 최대화.
• 플레이어는 각 기준 점수와 총 레이아웃 점수를 실시간으로 확인할 수 있어, 균형 잡힌 기준 기반 결정을 내릴 수 있다.
• 플레이어가 낮은 우선순위 전략을 선호하는 것을 방지하기 위해, 우선순위 모드(예: 하향 경로 최적화)를 고정된 고-저 순서로 자동 할당한다.
• 플레이어가 막히면, 시스템은 '힌트' 기능을 통해 알고리즘적으로 생성된 제안을 제공하여 더 작은, 다루기 쉬운 부분 문제에 집중하도록 유도한다.
• 시뮬레이티드 어닐링 알고리즘이 초도 레이아웃 제안을 생성하고 커뮤니티 워커를 안내하며, 인간과 알고리즘의 진전이 상호 보완하는 피드백 루프를 형성한다.

실험 결과

연구 질문

• RQ1 알고리즘 제안과 명확한 미적 기준을 안내로 삼는 비전문가 커뮤니티 작업자들이 높은 품질의 생물학적 네트워크 시각화를 생성할 수 있는가?
• RQ2 복잡한 네트워크에서 피드백 루프가 많은 경우 하이브리드 커뮤니티-알고리즘 접근법이 순수 자동화된 레이아웃 알고리즘보다 뛰어난가?
• RQ3 시스템의 자동 모드 할당 방식이 사용자가 직접 선택한 모드와 비교해 플레이어 성과와 레이아웃 품질에 어떤 영향을 미치는가?
• RQ4 플레이어가 레이아웃 작업 중 막힐 경우 알고리즘 제안이 성과 향상에 얼마나 기여하는가?
• RQ5 하향 방향 경로 최대화라는 생물학적 제약 조건을 통합함으로써 신호 전달 경로 시각화의 해석 가능성은 얼마나 향상되는가?

주요 결과

• 하이브리드 Flud 접근법은 순환 수가 많은 네트워크에서 최신 자동화된 레이아웃 알고리즘보다 뚜렷하게 뛰어나며, 특히 하향 방향 경로 최적화 측면에서 뛰어난 성능을 보였다.
• 알고리즘 제안을 받은 플레이어들은 특히 막힐 경우에 점수 향상이 눈에 띄게 관찰되어, 제안이 효과적인 안내 역할을 했다.
• 우선순위 순서로 모드를 자동 할당함으로써 플레이어가 자유롭게 모드를 선택하는 것보다 더 높은 전체 레이아웃 품질을 달성했으며, 플레이어가 보다 덜 관련 있는 기준을 선호하는 경향이 있었기 때문이다.
• 시스템의 실시간 각 기준 점수 피드백 덕분에 비전문가 플레이어들이 상충되는 미적 목표 간에 균형 잡힌 결정을 내릴 수 있었다.
• 세 가지 테스트 네트워크(순환 수가 다양함)에서 반복 가능하고 일관된 향상이 관찰되어, 이 접근법이 복잡한 생물학적 네트워크에 대해 강건하고 확장 가능함을 입증했다.