[논문 리뷰] Describing the complexity of systems: multi-variable "set complexity" and the information basis of systems biology

David J. Galas, Nikita A. Sakhanenko외 2명|arXiv (Cornell University)|2013. 02. 27.

Gene Regulatory Network Analysis참고 문헌 16인용 수 6

한 줄 요약

이 논문은 복잡한 시스템 내 다변량 종속성을 정량화하기 위해 정보이론적 측정법을 일반화한 '차분 상호정보'(Differential Interaction Information, DII)를 소개한다. 상호정보를 고차원 종속성으로 확장하고, 초그래프에 통합함으로써, 맥락에 따라 달라지는 복잡성의 비편향 검출이 가능해지며, 시스템 생물학 데이터 및 기타 복잡한 시스템 분석을 위한 강력한 프레임워크를 제공한다.

ABSTRACT

Context dependence is central to the description of complexity. Keying on the pairwise definition of "set complexity" we use an information theory approach to formulate general measures of systems complexity. We examine the properties of multi-variable dependency starting with the concept of interaction information. We then present a new measure for unbiased detection of multi-variable dependency, "differential interaction information." This quantity for two variables reduces to the pairwise "set complexity" previously proposed as a context-dependent measure of information in biological systems. We generalize it here to an arbitrary number of variables. Critical limiting properties of the "differential interaction information" are key to the generalization. This measure extends previous ideas about biological information and provides a more sophisticated basis for study of complexity. The properties of "differential interaction information" also suggest new approaches to data analysis. Given a data set of system measurements differential interaction information can provide a measure of collective dependence, which can be represented in hypergraphs describing complex system interaction patterns. We investigate this kind of analysis using simulated data sets. The conjoining of a generalized set complexity measure, multi-variable dependency analysis, and hypergraphs is our central result. While our focus is on complex biological systems, our results are applicable to any complex system.

연구 동기 및 목표

• 다변량 시스템의 맥락에 따라 달라지는 종속성을 포괄하는 일반화된 복잡도 측정법을 개발하는 것.
• 기존의 상호정보 측정법의 한계를 보완하기 위해 비편향적이고 고차원 종속성 검출 방법을 도입하는 것.
• 시스템 생물학 및 기타 복잡한 시스템에서의 복잡성 이해를 위한 공식적인 정보이론적 기반을 제공하는 것.
• 상호작용 패턴의 초그래프 표현을 통해 집단 종속성의 데이터 기반 분석을 가능하게 하는 것.
• 쌍방향 상호작용을 넘어서 임의의 수의 변수에까지 일반화된 '집합 복잡도' 개념을 확장하는 것.

제안 방법

• '쌍방향 집합 복잡도'를 n변량 시스템으로 일반화한 '차분 상호정보'(DII)를 제안하며, 이는 정보이론적 원리에서 유도된다.
• 상호정보를 기반으로 하되, 고차원 종속성의 비편향 검출을 보장하기 위해 재정의한다.
• DII의 임계 극한 성질을 적용하여 다변량 종속성 검출의 일관성과 안정성을 확보한다.
• 노드가 변수를 나타내고, 초변이가 다변량 상호작용을 표현하는 초그래프를 사용하여 집단 종속성을 표현한다.
• 모의 데이터 세트를 활용하여 방법이 복잡한 상호작용 패턴을 검출하고 시각화하는 능력을 검증한다.
• 일반화된 집합 복잡도, 다변량 종속성 분석, 초그래프 모델링을 통합하여 통합된 프레임워크를 구축한다.

실험 결과

연구 질문

• RQ1 어떻게 복잡한 시스템 내 다변량 종속성을 맥락 민감성과 비편향성을 동시에 확보할 수 있는가?
• RQ2 쌍방향 '집합 복잡도'를 고차원 상호작용으로 일반화하기 위한 정보이론적 기반은 무엇인가?
• RQ3 차분 상호정보(DII)는 전통적인 상호정보보다 집단 종속성 검출에서 어떻게 향상되는가?
• RQ4 DII를 사용하여 복잡한 시스템의 상호작용을 의미 있는 초그래프로 표현할 수 있는가?
• RQ5 DII의 극한 성질은 다변량 시스템 분석에서의 신뢰성을 보장하기 위해 어떤 역할을 하는가?

주요 결과

• 차분 상호정보(DII)는 임의의 수의 변수로 일반화된 쌍방향 집합 복잡도를 일관적이고 비편향된 방식으로 측정하는 데 성공한다.
• DII의 극한 성질은 고차원 시스템에서도 고차원 상호작용 검출의 안정성과 강건성을 보장한다.
• DII를 통해 복잡한 시스템 내 다변량 변수 간의 복잡한 상호작용 패턴을 효과적으로 표현하는 초그래프를 구축할 수 있다.
• 모의 데이터 분석 결과, DII는 쌍방향 측정법만으로는 탐지할 수 없는 집단 종속성을 성공적으로 식별함을 보여준다.
• 이 방법은 시스템 생물학 및 기타 복잡한 시스템에서의 복잡성 연구를 위한 공식적이고 정보이론적인 기반을 제공한다.
• 일반화된 집합 복잡도, 다변량 종속성 검출, 초그래프 모델링의 통합은 복잡한 시스템 분석을 위한 종합적인 분석 프레임워크를 형성한다.