[論文レビュー] Flud: a hybrid crowd-algorithm approach for visualizing biological networks

Aditya Bharadwaj, David Gwizdala+3 more|arXiv (Cornell University)|Aug 20, 2019

Data Visualization and Analytics参考文献 78被引用数 4

ひとこと要約

Flud は、ヒトの直感とアルゴリズムの提案を組み合わせるハイブリッドなクラウド・アルゴリズム手法であり、複雑なシグナル伝達経路の生物学的に意味のあるレイアウトを生成する。ゲーム・イン・ア・プロポーズ（GWAP）インターフェースを用いることで、非専門家が段階的で基準に基づいた改善を繰り返し行い、サイクル数の多いグラフにおいて、純粋なアルゴリズム的手法を著しく上回る結果を得た。

ABSTRACT

Modern experiments in many disciplines generate large quantities of network (graph) data. Researchers require aesthetic layouts of these networks that clearly convey the domain knowledge and meaning. However, the problem remains challenging due to multiple conflicting aesthetic criteria and complex domain-specific constraints. In this paper, we present a strategy for generating visualizations that can help network biologists understand the protein interactions that underlie processes that take place in the cell. Specifically, we have developed Flud, an online game with a purpose (GWAP) that allows humans with no expertise to design biologically meaningful graph layouts with the help of algorithmically generated suggestions. Further, we propose a novel hybrid approach for graph layout wherein crowdworkers and a simulated annealing algorithm build on each other's progress. To showcase the effectiveness of Flud, we recruited crowd workers on Amazon Mechanical Turk to lay out complex networks that represent signaling pathways. Our results show that the proposed hybrid approach outperforms state-of-the-art techniques for graphs with a large number of feedback loops. We also found that the algorithmically generated suggestions guided the players when they are stuck and helped them improve their score. Finally, we discuss broader implications for mixed-initiative interactions in human computation games.

研究の動機と目的

• 高頻度のフィードバックループを有する複雑な細胞シグナル伝達ネットワークに対して、生物学的に意味のある美観的なレイアウトを生成する課題に対処すること。
• 完全に自動化されたレイアウトアルゴリズムと、熟練者による手動設計の間のギャップを埋めることで、非専門家のクラウドワーカーが意味のある貢献をできるようにすること。
• ネットワーク可視化における複数の矛盾する美観的およびドメイン固有の基準をバランスさせるミックスド・イニシアチブ・システムの開発。
• 人間の直感とアルゴリズムの提案を組み合わせたアプローチが、最先端の自動化手法に比べて優れたレイアウトを生み出すかどうかを評価すること。

提案手法

• Flud は、ネットワークレイアウトタスクをパズルとして提示するオンライン・ゲーム・イン・ア・プロポーズ（GWAP）であり、非専門のプレイヤーがノードの位置を段階的に調整できる。
• システムは、5つの基準に基づいて合成レイアウトスコアを計算する：エッジの交差数の最小化、エッジ長の短縮、非接続ノードペアの分散、ノードとエッジの間隔の拡大、下向きのパスの最大化。
• プレイヤーは各基準ごとのスコアと全体のレイアウトスコアをリアルタイムで受け取り、バランスの取れた意思決定が可能になる。
• プレイヤーが低優先度の戦略に偏らないように、優先順位モード（例：下向きパス最適化）を固定された高→低の順序で自動割り当てする。
• プレイヤーが詰まった場合、システムは「ヒント」機能を通じてアルゴリズム的に生成された提案を提供し、より小さな、取り扱いやすい部分問題に注意を向ける。
• シミュレーテッド・アニーリングアルゴリズムが初期レイアウトの提案を生成し、クラウドワーカーを導くことで、人間とアルゴリズムの進捗が互いに強化するフィードバックループを形成する。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的提案と明確な美観基準に導かれた非専門家クラウドワーカーは、高品質な生物学的ネットワーク可視化を生成できるか？
• RQ2 ハイブリッド・クラウド・アルゴリズム・アプローチは、多数のフィードバックループを有する複雑なネットワークにおいて、純粋な自動化手法を上回るか？
• RQ3 システムの自動モード割り当ては、ユーザーが自由にモードを選択する場合と比較して、プレイヤーのパフォーマンスとレイアウト品質にどのような影響を及えるか？
• RQ4 プレイヤーがレイアウトタスクで詰まった際に、アルゴリズム的提案がどれほどパフォーマンス向上に寄与するか？
• RQ5 下向きパスの最大化という生物学的制約を統合することで、シグナル伝達経路の可視化の解釈可能性が向上するか？

主な発見

• ハイブリッドな Flud アプローチは、サイクル数の多いネットワークにおいて、最先端の自動化レイアウトアルゴリズムを著しく上回り、特に下向きパスの最適化において顕著な優位性を示した。
• アルゴリズム的提案を受けたプレイヤーは、特に詰まった際にスコアの向上を示し、提案が有効なガイダンスを提供していることがわかった。
• 優先順位の高い順にモードを自動割り当てすることで、プレイヤーが自由にモードを選択する場合よりも、全体のレイアウト品質が向上した。プレイヤーは傾向として、あまり関連性のない基準に偏りがちだった。
• システムが各基準ごとのスコアをリアルタイムでフィードバックすることで、非専門家プレイヤーが矛盾する美観的目標の間で、情報に基づいたバランスの取れた意思決定が可能になった。
• 3つのテストネットワーク（サイクル数が異なる）において、一貫した改善が得られ、本手法の頑健性と、複雑な生物学的ネットワークへのスケーラビリティが裏付けられた。