[논문 리뷰] Minimal Algorithmic Information Loss Methods for Dimension Reduction, Feature Selection and Network Sparsification

Héctor Zenil, Narsis A. Kiani외 6명|arXiv (Cornell University)|2018. 02. 16.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 알고리즘적 정보 이론 기반의 모델 독립적이고 알고리즘적인 방법들을 제안하며, 차원 축소, 특성 선택, 네트워크 희소화를 수행할 때 알고리즘적 정보 손실을 최소화한다. 블록 분해 방법(BDM)을 통한 알고리즘 복잡도 근사치를 활용함으로써, 손실 압축, 노이즈 제거, 그래프 요약이 가능하며, 핵심적인 구조적 및 위상적 성질을 유지한다. 이는 합성 및 실세계 네트워크에서 PCA와 스펙트럼 희소화보다 뛰어난 성능을 보인다.

ABSTRACT

We present a novel, domain-agnostic, model-independent, unsupervised, and universally applicable Machine Learning approach for dimensionality reduction based on the principles of algorithmic complexity. Specifically, but without loss of generality, we focus on addressing the challenge of reducing certain dimensionality aspects, such as the number of edges in a network, while retaining essential features of interest. These features include preserving crucial network properties like degree distribution, clustering coefficient, edge betweenness, and degree and eigenvector centralities but can also go beyond edges to nodes and weights for network pruning and trimming. Our approach outperforms classical statistical Machine Learning techniques and state-of-the-art dimensionality reduction algorithms by preserving a greater number of data features that statistical algorithms would miss, particularly nonlinear patterns stemming from deterministic recursive processes that may look statistically random but are not. Moreover, previous approaches heavily rely on a priori feature selection, which requires constant supervision. Our findings demonstrate the effectiveness of the algorithms in overcoming some of these limitations while maintaining a time-efficient computational profile. Our approach not only matches, but also exceeds, the performance of established and state-of-the-art dimensionality reduction algorithms. We extend the applicability of our method to lossy compression tasks involving images and any multi-dimensional data. This highlights the versatility and broad utility of the approach in multiple domains.

연구 동기 및 목표

• 통계적 및 엔트로피 기반 접근 방식에서 유발되는 왜곡을 피하는 도메인 독립적, 비지도적 데이터 축소 방법을 개발하는 것.
• 통계적 서명에 의존하지 않고도 차원 축소, 특성 선택, 네트워크 희소화 과정에서 알고리즘적 정보 손실을 최소화하는 것.
• PCA와 같은 전통적 방법이 놓치는 계산 가능한 비통계적 특징—예를 들어 알고리즘적 규칙성과 위상적 불변량—을 유지하는 것.
• 알고리즘적 확률과 콜모고로프 복잡도에 기반한 보편적이고 모델에 종속되지 않는 데이터 및 네트워크 압축 프레임워크를 제공하는 것.
• 이 방법이 이미지 세그멘테이션과 네트워크 요약에서 효과적임을 입증하며, 축소 과정 동안 그래프 이론적 지표를 유지하는 것.

제안 방법

• 손실 압축 기반의 손실 압축 알고리즘을 사용하여, 계산 가능한 모델로 재생산 가능한 데이터 영역 또는 네트워크 엣지를 압축함으로써 알고리즘적 정보 손실을 최소화한다.
• 알고리즘적 정보 내용의 추정을 가능하게 하기 위해, 콜모고로프 복잡도를 근사하기 위해 블록 분해 방법(BDM)을 적용한다.
• 최소 정보 손실 선택(MILS)이라는 새로운 알고리즘은 정보 손실이 최소인 엣지를 반복적으로 제거한다. 이 정보 손실은 엣지 제거 전후의 BDM 기반 복잡도 차이로 정의된다.
• 알고리즘은 다항식 시간 내에 작동하며, 최악의 경우 시간 복잡도는 O(|E(G)|³ + |E(G)|²·T_ID(G))이다. 여기서 T_ID(G)는 개별 엣지의 정보 손실을 계산하는 데 소요되는 시간이다.
• 데이터와 네트워크의 군집화를 위해 계산 가능한 구조를 식별하고 유지함으로써, 통계적 규칙성이 없는 경우에도 가능하게 한다.
• 알고리즘적 확률 원리를 통합하여, 축소된 표현이 원본 객체의 본질적인 알고리즘적 및 구조적 특징을 유지하도록 보장한다.

실험 결과

연구 질문

• RQ1 알고리즘적 정보 이론을 활용하여 통계적 편향을 피하는 보편적이고 모델에 종속되지 않는 데이터 및 네트워크 축소 방법을 설계할 수 있는가?
• RQ2 실용적인 차원 축소 및 특성 선택을 가능하게 하기 위해, 알고리즘적 복잡도를 얼마나 효율적으로 근사할 수 있는가?
• RQ3 알고리즘적 정보 손실 최소화가 도시 분포, 클러스터링 계수, 중심성 측정 등 위상적 및 그래프 이론적 성질을 어느 정도 유지할 수 있는가?
• RQ4 이 방법은 고차원 데이터와 복잡한 네트워크에서 의미 있는 특징을 유지하는 데 있어 전통적 방법인 PCA 및 스펙트럼 희소화보다 뛰어나게 성능을 낼 수 있는가?
• RQ5 알고리즘적 복잡도 근사치를 사용하여 대규모 그래프에서 최소 정보 손실 엣지를 식별하는 데 필요한 계산 복잡도는 얼마인가?

주요 결과

• 제안된 방법은 도시 분포, 클러스터링 계수, 엣지 중간성, 고유벡터 중심성 등의 그래프 이론적 지표를 스펙트럼 및 전이성 희소화와 같은 최첨단 방법보다 동일하거나 더 잘 유지한다.
• 이미지 세그멘테이션 작업에서, 알고리즘은 통계적 기법에 의존하는 순수한 통계 기반 기법이 놓치는 구조적 및 알고리즘적 특징을 유지함으로써 PCA 및 무작위 선택보다 뛰어난 성능을 보였다.
• MILS 알고리즘은 최악의 경우 시간 복잡도 O(|E(G)|³ + |E(G)|²·T_ID(G))를 달성하여 대규모 네트워크에 대해 실현 가능하다.
• 이 방법은 통계적 방법인 PCA가 선형성과 통계적 서명에 의존하기 때문에 시각화되지 않는 비선형 알고리즘적 규칙성을 효과적으로 식별하고 유지한다.
• 이론적 분석을 통해 알고리즘적 복잡도 근사 오차는 o(log log |V(G)|) 이내로 유한함을 보여주며, 정보 손실 추정의 점근적 일致성을 확보한다.
• 이 방법은 알고리즘적 정보 측면에서 손실 없는 손실 압축을 가능하게 하며, 이는 압축 표현에서 계산 가능한 모델을 통해 원본 데이터를 재구성할 수 있음을 의미한다.