[論文レビュー] Minimal Algorithmic Information Loss Methods for Dimension Reduction, Feature Selection and Network Sparsification

Héctor Zenil, Narsis A. Kiani+6 more|arXiv (Cornell University)|Feb 16, 2018

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、次元削減、特徴選択、ネットワークスパース化のための、モデルに依存しないアルゴリズム的情報理論に基づく手法群を提案する。これらの手法は、アルゴリズム的情報の損失を最小化することを目的としている。ブロック分解法（BDM）を用いたアルゴリズム的複雑性の近似を活用することで、損失あり圧縮、ノイズ除去、グラフ要約が可能となり、主要な構造的およびトポロジカル特性を保持する。合成ネットワークおよび実世界のネットワークにおいて、PCA やスペクトルスパース化を凌駕する性能を示している。

ABSTRACT

We present a novel, domain-agnostic, model-independent, unsupervised, and universally applicable Machine Learning approach for dimensionality reduction based on the principles of algorithmic complexity. Specifically, but without loss of generality, we focus on addressing the challenge of reducing certain dimensionality aspects, such as the number of edges in a network, while retaining essential features of interest. These features include preserving crucial network properties like degree distribution, clustering coefficient, edge betweenness, and degree and eigenvector centralities but can also go beyond edges to nodes and weights for network pruning and trimming. Our approach outperforms classical statistical Machine Learning techniques and state-of-the-art dimensionality reduction algorithms by preserving a greater number of data features that statistical algorithms would miss, particularly nonlinear patterns stemming from deterministic recursive processes that may look statistically random but are not. Moreover, previous approaches heavily rely on a priori feature selection, which requires constant supervision. Our findings demonstrate the effectiveness of the algorithms in overcoming some of these limitations while maintaining a time-efficient computational profile. Our approach not only matches, but also exceeds, the performance of established and state-of-the-art dimensionality reduction algorithms. We extend the applicability of our method to lossy compression tasks involving images and any multi-dimensional data. This highlights the versatility and broad utility of the approach in multiple domains.

研究の動機と目的

• 統計的およびエントロピーに基づくアプローチに内在する歪みを回避する、ドメインフリーで教師なしのデータ圧縮手法の開発。
• 統計的シグネイチャに依存せずに、次元削減、特徴選択、ネットワークスパース化の過程でアルゴリズム的情報損失を最小化すること。
• PCA などの従来手法が見逃す、計算可能で統計的でない特徴（例：アルゴリズム的規則性、トポロジカル不変量）を保持すること。
• アルゴリズム的確率およびコルモゴロフ複雑性に基づいて、普遍的でモデルに依存しないデータおよびネットワーク圧縮フレームワークを提供すること。
• 画像セグメンテーションおよびネットワーク要約の分野において、同手法の有効性を示し、圧縮後においてもグラフ理論的インデックスが維持されることを確認すること。

提案手法

• 損失なし圧縮に基づく損失あり圧縮アルゴリズムを用い、計算可能モデルから再生成可能なデータ領域やネットワークエッジを統合することで、アルゴリズム的情報損失を最小化する。
• コルモゴロフ複雑性の近似にブロック分解法（BDM）を適用し、データおよびネットワーク内のアルゴリズム的情報量の推定を可能にする。
• 最小情報損失選択（MILS）と呼ばれる新規アルゴリズムを提案。エッジの削除によるBDMで計算された複雑性の前後差分に基づき、情報損失が最小となるエッジを反復的に削除する。
• アルゴリズムの時間計算量は多項式時間であり、最悪ケースの複雑度は O(|E(G)|³ + |E(G)|²·T_ID(G)) である。ここで T_ID(G) は個々のエッジの情報損失を計算する時間である。
• 計算可能構造を特定・保持することで、データおよびネットワークの粗粒度化を可能にし、統計的規則性が欠如している場合でも有効である。
• アルゴリズム的確率の原則を統合し、圧縮された表現が元のオブジェクトの本質的アルゴリズム的および構造的特徴を保持することを保証する。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的情報理論を用いて、統計的バイアスを回避する普遍的でモデルに依存しないデータおよびネットワーク圧縮手法を設計可能か？
• RQ2 次元削減および特徴選択の実用的実装を可能にする十分な効率性で、アルゴリズム的複雑性を近似できるか？
• RQ3 アルゴリズム的情報損失最小化は、次数分布、クラスタリング係数、中心性指標などのトポロジカルおよびグラフ理論的特性をどの程度維持できるか？
• RQ4 本手法は、PCA やスペクトルスパース化といった古典的手法を上回り、高次元データおよび複雑ネットワークにおける意味のある特徴を効果的に保持できるか？
• RQ5 アルゴリズム的複雑性近似を用いて、大規模グラフにおける最小情報損失エッジの特定の計算複雑度はどの程度か？

主な発見

• 提案手法は、次数分布、クラスタリング係数、エッジの媒介性、固有ベクトル中心性といったグラフ理論的インデックスを、Spectral や Transitive スパース化といった最先端手法と同等以上に保持している。
• 画像セグメンテーションタスクにおいて、PCA やランダム選択に比べ、純粋に統計的技術では捉えきれない構造的およびアルゴリズム的特徴を保持している。
• MILS アルゴリズムは、最悪ケース時間計算量 O(|E(G)|³ + |E(G)|²·T_ID(G)) を達成しており、大規模ネットワークに対しても実用可能である。
• 本手法は、PCA が線形的および統計的シグネイチャに依存するのに対し、非線形でアルゴリズム的規則性を有するデータの特徴を効果的に特定・保持できることを示している。
• 理論的解析により、アルゴリズム的複雑性近似誤差が o(log log |V(G)|) で有界であることが示され、情報損失推定の漸近的一貫性が保証されている。
• 本手法は、アルゴリズム的情報の観点では損失なしの圧縮を実現しており、圧縮表現から計算可能モデルを用いて元のデータを再構成可能である。