[논문 리뷰] A Group-Theoretic Approach to Computational Abstraction: Symmetry-Driven Hierarchical Clustering

Haizi Yu, Igor Mineyev외 1명|arXiv (Cornell University)|2018. 07. 30.

Complex Network Analysis Techniques참고 문헌 38인용 수 4

한 줄 요약

이 논문은 데이터, 특징, 유사도 기반이 아닌 대칭성에 기반한 계산적 추상화를 위한 군 이론적 프레임워크를 제안한다. 이는 데이터 없이, 특징 없이, 유사도 없이도 전역적으로 계층적인 개념 형성 가능하게 한다. 방법은 수학적 공간 위에서 군 작용을 통해 분할을 유도하며, 통계적 추론과 결합하면 샤논의 정보 격자 구조를 실현하여 투명하고 인지 기반의 개념 학습을 가능하게 한다. 음악 작곡 사례에서 이를 입증하였다.

ABSTRACT

Abstraction plays a key role in concept learning and knowledge discovery; this paper is concerned with computational abstraction. In particular, we study the nature of abstraction through a group-theoretic approach, formalizing it as symmetry-driven---as opposed to data-driven---hierarchical clustering. Thus, the resulting clustering framework is data-free, feature-free, similarity-free, and globally hierarchical---the four key features that distinguish it from common data clustering models such as $k$-means. Beyond a theoretical foundation for abstraction, we also present a top-down and a bottom-up approach to establish an algorithmic foundation for practical abstraction-generating methods. Lastly, via both a theoretical explanation and a real-world application, we illustrate that further coupling of our abstraction framework with statistics realizes Shannon's information lattice and even further, brings learning into the picture. This not only presents one use case of our proposed computational abstraction, but also gives a first step towards a principled and cognitive way of automatic concept learning and knowledge discovery.

연구 동기 및 목표

• 데이터, 특징, 유사도 측도에 의존하지 않는 보편적이고 원리적인 계산적 추상화 방법론을 개발하는 것.
• 군 이론을 보편적 사전 지식으로 삼아 대칭 작용의 결과로 추상화를 형식화하는 것.
• 상향식 또는 하향식 방식으로 계층적 추상화를 알고리즘적으로 생성하기 위한 이론적이고 알고리즘적 기반을 마련하는 것.
• 추상화 프레임워크를 통계적 학습과 결합함으로써 정보 격자 구조를 실현하고, 투명하고 인지 기반의 개념 학습을 가능하게 하는 것.
• 내재된 대칭성과 경험적 학습을 융합하여 규칙 기반과 데이터 기반 AI 사이의 중간 지점을 제공하는 것.

제안 방법

• 수학적 공간(예: 벡터 공간 또는 다양체) 위에서 군 작용을 통해 분할을 생성하는 대칭성 기반 군집화로 추상화를 형식화한다.
• 군 작용을 통해 동치 관계를 유도함으로써 대칭적 요소를 동치로 간주하는 군집화를 실현하며, 군집 내 변화는 무시한다.
• 고차원 대칭성에서 시작하는 하향식 방법과 데이터로부터 대칭성을 복원하는 상향식 방법을 제안한다.
• 학습된 규칙을 나타내는 선형 제약 조건 하에서 푸아송 엔트로피 최대화를 통해 확률론적이고 정보 이론 기반의 추상화를 실현한다.
• 제약 조건 $ H(\bm{y}^k|\bm{x}) = 0 $ 를 통해 고차원 추상화 $ \bm{y}^k $ 가 기본 정보 $ \bm{x} $ 와 일관되게 유지되도록 하며, 추상화를 격자 내 정보 요소로 표현한다.
• 규칙을 선형 제약 조건으로 표현하기 위해 분할 행렬 $ A^k $ 와 확률 벡터 $ y^k $ 를 사용하여 추상화 충실도를 유지하면서 최대 무작위성 확보를 위한 최적화를 실현한다.

실험 결과

연구 질문

• RQ1 데이터나 유사도가 아닌 대칭성의 결과로 추상화를 어떻게 형식화할 수 있는가?
• RQ2 군 이론 원리로 보편적이고 도메인에 관계없는 추상화를 위한 사전 지식을 구성할 수 있는가?
• RQ3 특징이나 데이터에 의존하지 않고 계층적 추상화 구조를 알고리즘적으로 생성할 수 있는가?
• RQ4 통계적 추론은 추상적인 대칭성과 실제 세계 학습을 어떻게 연결하며, 이를 통해 인지 유사한 학습 과정을 어떻게 도출하는가?
• RQ5 결과로 도출된 추상화 프레임워크를 정보 이론과 융합하여 투명하고 해석 가능한 학습 시스템을 구성할 수 있는가?

주요 결과

• 제안된 프레임워크는 수학적 공간 위의 군 작용에서 파생된 분할을 통해 데이터 없이, 특징 없이, 유사도 없이도 전역적으로 계층적인 군집화를 실현한다.
• 이 방법은 하향식 및 상향식 알고리즘적 추상화 생성을 가능하게 하여 개념 설계와 데이터 기반 복원 모두를 가능하게 한다.
• 통계적 학습과 결합할 경우 추상화 프레임워크는 샤논의 정보 격자 구조를 실현하며, 추상화는 $ H(\bm{y}^k|\bm{x}) = 0 $ 를 만족하는 정보 요소로 표현된다.
• MUS-ROVER 응용 사례에서 학생 에이전트는 규칙 제약 조건 하에서 푸아송 엔트로피를 최대화하여 규칙에 부합하는 새로운 음악을 생성하면서 고차원 원리를 기억한다.
• MUS-ROVER의 학습 과정은 바흐의 작곡적 사고 방식을 비주얼적으로 모방하며, 정보 격자는 계층적 추상화와 규칙 활성화를 반영한다.
• 이 프레임워크는 블랙박스 모델의 대안으로 투명하고 해석 가능하며, 경험적 데이터와 유사한 내재된 대칭성을 통해 인간 유사 학습을 실현한다.