[논문 리뷰] Deep Learning with Topological Signatures

Christoph D. Hofer, Roland Kwitt외 2명|arXiv (Cornell University)|2017. 07. 13.

Topological and Geometric Data Analysis참고 문헌 26인용 수 102

한 줄 요약

이 논문은 지속도 다이어그램(위상적 서명을) 딥 네트워크용 태스크 최적화 표현으로 매핑하는 학습 가능한 입력 층을 도입하여 위상학적 특징과 함께 엔드투엔드 학습을 가능하게 한다. 이는 그래프 분류 및 2D 형태 인식에서 향상된 성능을 보여주며, 특히 소셜 네트워크 그래프에서 최첨단 수준을 능가한다.

ABSTRACT

Inferring topological and geometrical information from data can offer an alternative perspective on machine learning problems. Methods from topological data analysis, e.g., persistent homology, enable us to obtain such information, typically in the form of summary representations of topological features. However, such topological signatures often come with an unusual structure (e.g., multisets of intervals) that is highly impractical for most machine learning techniques. While many strategies have been proposed to map these topological signatures into machine learning compatible representations, they suffer from being agnostic to the target learning task. In contrast, we propose a technique that enables us to input topological signatures to deep neural networks and learn a task-optimal representation during training. Our approach is realized as a novel input layer with favorable theoretical properties. Classification experiments on 2D object shapes and social network graphs demonstrate the versatility of the approach and, in case of the latter, we even outperform the state-of-the-art by a large margin.

연구 동기 및 목표

• 다양한 데이터 모달리티를 포착하기 위해 견고한 위상학적 및 기하 정보를 포착하기 위한 토폴로지 데이터 분석(TDA)의 사용을 고찰한다.
• 지연되지 않는 학습 가능한 입력 층을 개발하여 지속도 다이어그램을 학습 가능한 표현으로 투사하고 깊은 네트워크와 호환되도록 한다.
• 층의 안정성을 지속도 다이어그램에 대한 1-워샤스타인 거리와 관련하여 확보한다.
• 다양한 작업(2D 형태 분류 및 사회적 네트워크 그래프 분류)에서 접근 방식을 입증하여 다재다능함을 보여준다.
• 토폴로지적 서명에서 학습된 작업에 맞춘 표현이 기존 방법을 능가할 수 있음을 도출한다.

제안 방법

• 지속도 다이어그램을 받아 학습 가능한 구조 요소 집합으로 프로젝션하는 매개변수화된 프로젝션 층을 도입한다.
• 다이어그램 점들을 1D 지속도 축과 1D 탄생-지속도 축으로 매핑하기 위해 회전 좌표계를 사용한다.
• 요소별 스칼라 프로젝션을 생성하고 N개 요소를 따라 연결되는 s_mu,sigma,nu의 연속미분 가능한 구조 함수를 정의한다.
• 층은 1-워샤스타인 거리에 관해 라이프시츠 연속임을 보장하여 다이어그램 교란에 대한 안정성을 확보한다.
• mu와 sigma에 대해 미분가능한 s_mu,sigma,nu를 활용하여 표준 역전파로 층을 엔드투엔드 학습한다.
• 다양한 카드inality의 다이어그램을 다루고 일반적인 다중집합 입력 층으로 통합될 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 학습 가능한 입력 층이 워샤스타인(Wasserstein)에 대해 안정적이고 딥 러닝용으로 태스크 최적화된 표현으로 지속도 다이어그램을 매핑할 수 있는가?
• RQ2 엔드투엔드 학습을 통해 위상적 서명을 도입하면 2D 형태 분류 및 그래프 분류와 같은 이질적인 작업에서 성능이 향상되는가?
• RQ3 본질적(절대 사라지지 않는) 위상학적 특징이 실전에서 구별력에 얼마나 크게 기여하는가?
• RQ4 제안된 층은 확장성 및 정확도 측면에서 전통적인 벡터화나 커널 기반 접근법과 비교해 어떤 차이가 있는가?

주요 결과

• 저자들은 학습 가능하고 미분 가능한 S_theta,nu 층을 제안하여 지속도 다이어그램을 학습 가능한 구조 요소로 결정된 고정 크기 벡터로 투사한다.
• 층은 1-워샤스타인 거리와 관련하여 라이프시츠 연속임이 증명되어 교란 하에서 위상 서명들의 안정성을 보장한다.
• 실험에서 이 접근은 2D 형태 분류와 소셜 네트워크 그래프 분류에 적용되어 다재다능함을 보이고 그래프 작업에서 최첨단을 능가하는 강력한 결과를 얻었다.
• 다양한 카드inality의 다이어그램을 다룰 수 있으며 깊은 네트워크에 실수 벡터의 다중집합을 일반적으로 통합하는 방법으로 간주될 수 있다.
• 필수적 위상학적 특징을 활용하면 그래프 분류에서 상당한 성능 향상을 제공한다.