[論文レビュー] A Group-Theoretic Approach to Computational Abstraction: Symmetry-Driven Hierarchical Clustering

Haizi Yu, Igor Mineyev+1 more|arXiv (Cornell University)|Jul 30, 2018

Complex Network Analysis Techniques参考文献 38被引用数 4

ひとこと要約

本稿では、データではなく対称性に基づいて階層的クラスタリングを生成する群論的枠組みを提案する。これにより、データフリー、特徴量フリー、類似性フリー、かつグローバルに階層的な概念形成が可能となる。この手法は群作用を用いて数学的空間の分割を誘導し、統計的推論と組み合わせることでシャノンの情報格子を実現する。その結果、透明性があり認知にインspiredされた概念学習が可能となり、音楽作曲の応用で実証された。

ABSTRACT

Abstraction plays a key role in concept learning and knowledge discovery; this paper is concerned with computational abstraction. In particular, we study the nature of abstraction through a group-theoretic approach, formalizing it as symmetry-driven---as opposed to data-driven---hierarchical clustering. Thus, the resulting clustering framework is data-free, feature-free, similarity-free, and globally hierarchical---the four key features that distinguish it from common data clustering models such as $k$-means. Beyond a theoretical foundation for abstraction, we also present a top-down and a bottom-up approach to establish an algorithmic foundation for practical abstraction-generating methods. Lastly, via both a theoretical explanation and a real-world application, we illustrate that further coupling of our abstraction framework with statistics realizes Shannon's information lattice and even further, brings learning into the picture. This not only presents one use case of our proposed computational abstraction, but also gives a first step towards a principled and cognitive way of automatic concept learning and knowledge discovery.

研究の動機と目的

• データ、特徴量、類似性メトリクスに依存しない普遍的で原理的な計算的抽象化の手法を開発すること。
• 群論を普遍的な事前知識として用い、対称性操作の結果として抽象化を形式化すること。
• トップダウンまたはボトムアップの方法で階層的抽象化を生成する理論的・アルゴリズム的基盤を確立すること。
• 抽象化枠組みを統計的学習と組み合わせることで情報格子を実現し、透明性があり認知にインspiredされた概念学習を可能にすること。
• ルールベースとデータ駆動型AIの中間的立場を提供するため、内的な対称性と経験的学習を統合すること。

提案手法

• 群作用による対称性駆動クラスタリングとして抽象化を形式化し、数学的空間（例：ベクトル空間や多様体）上での群作用が分割を生成する。
• 群作用を用いて同値関係を誘導し、対称的要素を同等とみなすクラスタリングを実現する。これにより、クラスタ内での変動を無視する。
• 高レベルの対称性から抽象化を構築するトップダウン手法と、データから対称性を回復するボトムアップ手法を導入する。
• 学習済みルールを表す線形制約下でツァリスエントロピーを最大化することで、確率的かつ情報理論的枠組みで抽象化を実現する。
• 抽象化を格子内の情報要素として表現し、制約 $ H(\bm{y}^k|\bm{x}) = 0 $ を用いて、高レベルの抽象化 $ \bm{y}^k $ が基本情報 $ \bm{x} $ と整合的であることを保証する。
• 抽象化の忠実度を保つ線形制約として、分割行列 $ A^k $ と確率ベクトル $ y^k $ を用い、最適化により最大のランダム性を達成する。

実験結果

リサーチクエスチョン

• RQ1 抽象化をデータや類似性ではなく、対称性の結果として形式化することは可能か？
• RQ2 群論的原則を用いて、普遍的かつドメインに依存しない抽象化の事前知識を構築できるか？
• RQ3 特徴量やデータに依存せずに、階層的抽象化構造をアルゴリズム的に生成できるか？
• RQ4 統計的推論は抽象的対称性と現実世界の学習をどのように結びつけるか？また、認知に類似した学習プロセスをどのように生み出すか？
• RQ5 得られた抽象化枠組みを情報理論と統合することで、透明性があり解釈可能な学習システムを構築できるか？

主な発見

• 提案された枠組みは、数学的空間における群作用から導かれる分割を用いることで、データフリー、特徴量フリー、類似性フリー、かつグローバルに階層的なクラスタリングを達成する。
• この手法により、トップダウンおよびボトムアップの両方のアルゴリズム的抽象化構築が可能となり、概念的設計とデータからの回復の両方が可能になる。
• 統計的学習と組み合わせることで、抽象化枠組みはシャノンの情報格子を実現し、抽象化が $ H(\bm{y}^k|\bm{x}) = 0 $ を満たす情報要素として表現される。
• MUS-ROVER応用では、学生エージェントがルール制約下でツァリスエントロピーを最大化し、新たなルール準拠の音楽を生成すると同時に、高レベルの原則を記憶する。
• MUS-ROVERにおける学習プロセスは、バッハの作曲的思考を視覚的に模倣しており、情報格子は階層的抽象化とルール活性化を反映している。
• この枠組みは、ブラックボックスモデルの代替として透明性があり解釈可能であり、内的な対称性と経験的データを組み合わせた人間のような学習を模倣する。