[논문 리뷰] Determining Structural Properties of Artificial Neural Networks Using Algebraic Topology.

David Pérez‐Fernández, Asier Gutiérrez-Fandiño외 2명|arXiv (Cornell University)|2021. 01. 19.

Topological and Geometric Data Analysis인용 수 1

한 줄 요약

이 논문은 대수적 위상수학에서 유도된 지속 호몰로지(Persistent Homology, PH)를 사용하여 인공 신경망(ANN) 아키텍처를 체계적으로 분석하고 특성화함으로써 깊이, 너비, 데이터 순서와 같은 구조적 특성과 관련된 위상적 불변량을 드러낸다. 주요 기여는 PH가 하위 문제들 사이에서 아키텍처 불변량과 변동성을 효과적으로 포착함으로써 더 원칙적인, 이론 기반의 아키텍처 탐색 절차를 가능하게 한다는 것을 입증하는 것이다.

ABSTRACT

Artificial Neural Networks (ANNs) are widely used for approximating complex functions. The process that is usually followed to define the most appropriate architecture for an ANN given a specific function is mostly empirical. Once this architecture has been defined, weights are usually optimized according to the error function. On the other hand, we observe that ANNs can be represented as graphs and their topological 'fingerprints' can be obtained using Persistent Homology (PH). In this paper, we describe a proposal focused on designing more principled architecture search procedures. To do this, different architectures for solving problems related to a heterogeneous set of datasets have been analyzed. The results of the evaluation corroborate that PH effectively characterizes the ANN invariants: when ANN density (layers and neurons) or sample feeding order is the only difference, PH topological invariants appear; in the opposite direction in different sub-problems (i.e. different labels), PH varies. This approach based on topological analysis helps towards the goal of designing more principled architecture search procedures and having a better understanding of ANNs.

연구 동기 및 목표

• 현재 경험적 시도와 오차 중심의 방법으로 지배되고 있는 신경망 아키텍처 탐색에서의 원칙적인 방법의 부족을 해결하기 위해.
• 지속 호몰로지에서 유도된 위상적 불변량이 ANNs의 핵심 구조적 특성을 특성화할 수 있는지 조사하기 위해.
• PH가 서로 다른 네트워크 아키텍처와 데이터 공급 순서를 구분할 수 있는지 탐색하기 위해.
• PH가 서로 다른 레이블을 가진 하위 문제들에서의 변동성을 포착하는지 평가하기 위해, 이는 과제 특화된 구조에 대한 민감도를 시사한다.
• 경험적 튜닝을 초월하여 위상 기반의 신경망 아키텍처 설계를 위한 기초를 다지기 위해.

제안 방법

• 노드가 뉴런에 대응하고 간선이 가중치에 대응하는 가중치 그래프로 인공 신경망을 표현하기.
• PH를 적용하여 ANNs의 그래프 표현에서 위상적 불변량을 추출하기.
• 결과로 얻은 지속도 다이어그램을 분석하여 아키텍처 특성을 반영하는 위상적 지문을 식별하기.
• 깊이, 너비, 데이터 순서가 다른 ANNs 간의 PH 불변량을 비교하여 구조적 불변성을 탐지하기.
• 다른 하위 문제들(예: 서로 다른 클래스 레이블) 간의 PH 차이를 평가하여 과제 특화된 데이터 구조에 대한 민감도 평가하기.
• 위상적 데이터 분석(TDA)을 사용하여 PH 특징와 네트워크 행동 및 아키텍처 특성 간의 상관관계를 분석하기.

실험 결과

연구 질문

• RQ1 지속 호몰로지가 네트워크 밀도와 데이터 공급 순서가 변할 때 인공 신경망 내에서 구조적 불변량을 탐지할 수 있는가?
• RQ2 동일한 네트워크 아키텍처가 서로 다른 레이블을 가진 하위 문제들에서 훈련될 때 PH 불변량은 어떻게 변화하는가?
• RQ3 PH에서 유도된 위상적 불변량이 ANNs의 아키텍처 차이를 신뢰할 수 있는 지표로 얼마나 잘 기능하는가?
• RQ4 PH 기반 분석이 신경망 설계에서 경험적 아키텍처 탐색의 원칙적인 대안을 제공할 수 있는가?

주요 결과

• 지속 호몰로지(PH)는 네트워크 밀도(층 수와 뉴런 수) 또는 데이터 공급 순서만 변화할 때에도 안정적인 위상적 불변량을 성공적으로 식별한다.
• PH 불변량은 서로 다른 하위 문제들, 예를 들어 다른 클래스 레이블들 사이에서 의미적으로 다르게 나타나, 과제 특화된 데이터 구조에 민감함을 시사한다.
• PH에서 유도된 위상적 지문은 아키텍처 특성과 상관관계가 있으며, 아키텍처 탐색을 안내하는 데 잠재적 가능성을 보여준다.
• PH는 전통적인 지표를 초월하여 ANNs를 일관되고 효과적으로 특성화하는 데 기여하며, 네트워크 구조에 대한 새로운 통찰을 제공한다.
• 결과는 대수적 위상수학이 더 체계적이고 원칙적인 신경망 아키텍처 설계를 위한 이론적 기초가 될 수 있음을 검증한다.